किला काफी प्राचीन है। माइक्रोलिथिक आदमी के अवशेष की यहाँ खोज की गई है। विभिन्न पुराणों (प्राचीन शास्त्रों) मत्स्य पुराण अग्निपुराण स्कंधपुराण में हरिश्चंद्र गढ़ के बारे में कई संदर्भ शामिल हैं। इसके मूल छटी शताब्दी में किया गया है कलचुरी राजवंश के शासन के दौरान, कहा जाता है। गढ़ इस युग के दौरान बनाया गया था। विभिन्न गुफाओं, शायद 11 वीं सदी में ख़ुदाई की गयी है। इन गुफाओं में भगवान विष्णु की मूर्तियां हैं। हालांकि चट्टानों तारामती और रोहिदास नामित कर रहे हैं, वे अयोध्या से संबंधित नहीं हैं। महान ऋषि चांगदेव ने (जो महाकाव्य तत्व सार बनाया), 14 वीं सदी में ये ध्यान करने के लिए इस्तेमाल किया। किले पर विभिन्न निर्माण कार्य हुआ और यहाँ विविध संस्कृतियों के अस्तित्व के लिये केंद्रबिंदु माना है। नागेश्वर के मंदिरों में (खिरेश्वर गांव में), हरिश्चंद्रेश्वर मंदिर में और केदारेश्वर की गुफा पर नक्काशियों से संकेत मिलते है। क़िला, मध्यकाल के अंतर्गत आता है, क्योंकि यह शैव, शाक्त या नाथ से संबंधित है। बाद में किला मुगल के नियंत्रण में था। मराठों ने 1747 में यह कब्जा कर लिया।
