या जागेवर मूळतः काशी विश्वेश्वर मंदिर होते, ज्याची स्थापना राजा टोडर मल यांनी सोळाव्या शतकाच्या उत्तरार्धात केव्हातरी बनारसच्या सर्वात प्रसिद्ध ब्राह्मण कुटुंबाचे प्रमुख नारायण भट्ट यांच्या संयोगाने केली होती. जहांगीरचे जवळचे सहकारी वीरसिंग देव बुंदेला हे सतराव्या शतकाच्या पूर्वार्धात एक संभाव्य संरक्षक होते आणि त्यांनी काही प्रमाणात मंदिराचे नूतनीकरण केले. मंदिराबद्दल अचूक तपशील आणि जागेचाचा इतिहास काही प्रमाणात वादातीत आहे.
ज्ञानवापी मशीद हे जेम्स प्रिन्सेपने बनारसच्या विश्वेश्वराचे मंदिर म्हणून रेखाटले आहे. आता पाडलेल्या मंदिराची मूळ भिंत आजही मशिदीत उभी आहे.
साधारण१६६९ च्या आसपास, औरंगजेबाने मंदिर पाडण्याचा आदेश दिला आणि त्याच्या जागी ज्ञान वापी मशिदीचे बांधकाम केले. मंदिराचा पाया तसाच ठेवला गेला आणि त्याचा वापर मशिदीचे प्रांगण म्हणून केला गेला; दक्षिणेकडील भिंत तिच्यावरील कमानी, बाह्य कोरीवकाम आणि तोरणांसह वाचवण्यात आली आणि तिचे किब्ला भिंतीमध्ये रुपांतर केले फेले. या सध्या अस्तित्त्वात असलेल्या घटकांमध्ये मूळ मंदिरावर मुघल स्थापत्य शैलीचा प्रभाव आहे.
मशिदीचे नाव ज्ञान वापी ("ज्ञानाची विहीर") या शेजारील विहिरीवरून पडले आहे. शिवाने हि विहीर शिवलिंग थंड करण्यासाठी स्वतः खोदली होते असे आख्यायिका सांगतात.
