தென்பாண்டி நாட்டில், தென்காசியைத் தலைநகராகக் கொண்டு, அரிகேசரி பராக்கிரம பாண்டியன் ஆட்சி புரிந்து வந்தார். சிவனார்மீது கொண்ட தீவிர பக்தியால், காசியில் சிவலிங்கம் எடுத்து, அதை கங்கையில் நீராட்டி, தென்காசிக்கு எடுத்து வந்து, பிரதிஷ்டை செய்து, ஆலயம் எழுப்ப வேண்டும் என விரும்பினார்.
அதன்படி, காராம்பசு ஒன்றின் மேல் சிவலிங்கத்தை வைத்து எடுத்து வந்தார் அவர். வழியில், வில்வ மரங்கள் நிறைந்த வனப் பகுதியில் வந்தபோது, அந்தப் பசுவால் ஒரு அடிகூட எடுத்து வைக்க முடியவில்லை. அதை அறிந்த மன்னர், ‘இறைவனின் திருவுளம் இதுவேபோலும்!’ என நினைத்தபடி, அங்கேயே வில்வ வனத்தில் அழகிய ஆலயம் அமைத்து, அதில் அந்தச் சிவலிங்கத்தைப் பிரதிஷ்டை செய்து வழிபட்டார்.
அவரையடுத்து வந்த பாண்டிய மன்னர்கள் பலரும் அந்தக் கோயிலுக்குப் பிராகாரம், மண்டபம், மதில் என திருப்பணிகள் பல செய்தார்கள். அந்த ஊரே பின்னாளில் சிவகாசி என அழைக்கப்பட்டது. ஸ்வாமியின் திருநாமம் காசி விஸ்வநாதர்; அம்பாள் விசாலாட்சி.
வைகாசியில் 11 நாள் விழாவாக பிரம்மோத்ஸவமும், ஆனியில் நடராஜருக்குத் திருமஞ்சனமும், ஆடி மாதத்தில் விசாலாட்சி அம்பாளுக்கு தபசுத் திருவிழாவும் இங்கே விமரிசையாக நடைபெறுகின்றன. ஆவணி மூல நாளில் பிட்டுத் திருவிழா, புரட்டாசியில் நவராத்திரி விழா, ஐப்பசி பெளர்ணமியில் சிவனாருக்கு அபிஷேகம், கார்த்திகை சோமவார நாளில் சங்காபிஷேகம், மார்கழியில் திருவாதிரை, மாசியில் மகா சிவராத்திரி என வருடம் முழுவதும் இந்த ஆலயத்தில் விழாக்கள் கோலாகலமாக நடைபெறுகிறன.
பிராகாரங்களில் துர்கை, வள்ளி தெய்வானையுடன் முருகன், விநாயகர், தட்சிணாமூர்த்தி, வீரபத்திரர், பைரவர் ஆகியோர் அருள்பாலிக்கின்றனர்.
காசிக்கு நிகரான தலம் இது. சிவகாசி விஸ்வநாதரை தரிசித்தால், காசி விஸ்வநாதரைத் தரிசித்த பலன் கிட்டும் என்பது ஐதீகம்! தொழில் சிறக்க இங்கு வந்து வேண்டிக்கொள்கின்றனர், பக்தர்கள். காலையில் இங்கு வந்து சிவனாரை வணங்கிய பிறகே கடை திறப்பதை வியாபாரிகள் பலரும் வழக்கமாக வைத்துள்ளார்கள்.
”தவிர, காசி விஸ்வநாதர் கல்யாண பாக்கியமும் தருவார்; பிள்ளை வரமும் கொடுப்பார். மிகுந்த வரப்பிரசாதி’ என்கிறார் இந்தக் கோயிலின் சுப்ரமணிய பட்டர்.