किल्ला अतिशय प्राचीन आहे. माइक्रोलिथिक मनुष्याचे अवशेष इथेच शोधण्यात आलेले आहेत. विविध पुराणे (प्राचीन शास्त्र) जसे मत्स्य पुराण, अग्निपुराण, स्कन्धपुराण यांमध्ये हरिश्चंद्र गडाच्या बाबतीत अनेक संदर्भ सामील आहेत. असे म्हटले जाते की याचा पाया सहाव्या शतकात कलचुरी वंशाच्या श्सासानाच्या दरम्याने घातला गेला आहे. गड याच युगाच्या दरम्यान बांधण्यात आला होता. विविध गुहा, कदाचित ११ व्या शतकात खोदण्यात आलेल्या आहेत. या गुहांमध्ये भगवान विष्णूच्या मूर्ती आहेत. अर्थात खडकावर तारामती आणि रोहिदास आहेत जे अयोध्येशी संबंधित नाहीयेत. महान ऋषी चांगदेव (ज्यांनी महाकाव्य तत्व सार रचले) यांनी १४ व्या शतकात ध्यान करण्यासाठी या जागेचा वापर केला. किल्ल्यावर विविध निर्माण कार्य झाले आणि विविध संस्कृतींच्या अस्तित्वासाठी हे ठिकाण केंद्रबिंदू मानले गेले आहे. नागेश्वरच्या मंदिरांमध्ये (खिरेश्वर गावात), हरिश्चंद्रेश्वर मंदिरात आणि केदारेश्वराच्या गुहेत नकाशांवरून संकेत मिळतात. किल्ला मध्यकालाच्या अंतर्गत येतो, कारण हा शैव, शाक्त किंवा नाथ यांच्याशी संबंधित आहे. पुढे किल्ला मोघलांच्या ताब्यात होता. मराठ्यांनी १७४७ मध्ये त्याच्यावर कब्जा केला.