মন্দিরের দেওয়াল লিখন হতে অনুমান করা হয় ১৫৪৪ শকাব্দ- এ এই মন্দিরটি নির্মিত হয়। বর্তমান শকাব্দ ১৯৩৮ মন্দিরটির বয়স ৩৯৪ বৎসর। বাংলা সন ১০২৯ , ইংরেজি সন ১৬২২ । মন্দিরটি বালিজুড়ি ও মঙ্গলপুরের মধ্যস্থলে অবস্থিত । অনাদিনাথ বাবা খগেশ্বরনাথের আবির্ভাব কথিত ও জনশ্রুত বীরভূম জেলার খয়রাশোল থানার সাগরভাঙ্গা গ্রামের ‘ বিশ্বনাথ হাজারির পরিবারের কোন একজন ফুলবেড়ে গ্রামের রায় বাড়িতে গরুর গোয়ালে কাজ করতেন এবং ফুলবেরেতে থাকতেন। তিনি একদিন দেখতে পান একটি গাভী গভীর জঙ্গলের মধ্যে এক জায়গায় দুধ দিয়ে বেরিয়ে আসছে। সেকথা খগাদিত্য রাজার কর্ণ গোচর হওয়াতে অনেক খোঁড়া খুঁড়ির পর অনাদিনাথের সন্ধান পান। তারপর বিশাল মন্দির স্থাপিত করেন রাজা খগাদিত্য।তার নামানুসারে খগেশ্বর মন্দির। বক্রেশ্বর মন্দিরের আদলে নির্মীত। ৮৩ ফুট উচ্চ। খগাদিত্য রাজা কর্তৃক প্রতিষ্ঠিত এই শিব মন্দির এখনো অক্ষত।

পরে আরও কিছু মন্দির প্রতিষ্ঠিত হয় চৌধুরী, চক্রবর্তী, পালদের। এখানে মূল মন্দির সহ ১২ টি মন্দির ও ৩৬ টি শিব লিঙ্গ রহিয়াছে। তার মধ্যে খুবই সৌম্য স্বভাবের বটুক ভৈরব এবং খুবই রুদ্র স্বভাবের কাল ভৈরব একই জায়গায় অবস্থান করছেন। আর রহিয়াছে খুবই জাগ্রত বাবা গোঁসাই মন্দির। এখানে যে কালাপাহারের আবির্ভাব হয়েছিল তাহা ভগ্ন মূর্তি হতে অনুমান করা যায়। পার্শ্ববর্তী পুকুর সংস্কারের সময় পাওয়া যায় এক কৃষ্ণমূর্তি। সেই মূর্তির বাম হাত কাটা। এর থেকে অনুমান এখানে কালা পাহাড়ের আবির্ভাব হয়েছিল।

খগেশ্বরনাথ মন্দিরের অনতি দূরে মহাড়ি গ্রাম সংলগ্ন জায়গায় একটি শিবলিঙ্গ রহিয়াছে। কথিত আছে ওই শিবলিঙ্গ রানীর অন্দর মহলের শিবলিঙ্গ। বাণী মা পূজা করতেন। রাজা খগাদিত্য অপুত্রক ছিলেন কথিত আছে। প্রায় ৪০০ বছরের পুরনো মন্দির হলেও শ্রী শ্রী মৌনী বাবা কর্তৃক উদয়াস্ত মহাযজ্ঞ প্রবর্তিত হয়েছে ১৩৫৯ সন থেকে। মৌনী বাবা মুর্শিদাবাদের ভাটপাড়া গ্রাম থেকে এসেছিলেন। ১২ বছর মৌনব্রত ছিলেন। তার জন্যই উনার নাম মৌনিবাবা। তিনি উদয়াস্ত মহাযজ্ঞ আরম্ভ করেন তাহা আজ ৬৪ বৎসর চলিতেছে। দীর্ঘ ২০ বৎসর তিনি বিভিন্ন পার্শ্ববর্তী গ্রামের সাহায্যে ভগ্নপ্রায় নাটশালা, গর্ভগৃহ ও অন্যান্য মন্দিরের সংস্কার করেন। বর্তমানে তিনি প্রয়াত। মন্দিরের পাশে মৌনিবাবার মর্মর আবক্ষ মূর্তি স্থাপিত হয়েছে। ভৈরবনাথ চক্রবর্তী ও বিশ্বনাথ ব্যানার্জির প্রচেষ্টায় । মাঝে কয়েক বৎসর মহাযজ্ঞে একটু ভাটা পড়েছিল। পরে ভৈরবনাথ চক্রবর্তী ও বিশ্বনাথ ব্যানার্জির যৌথ উদ্যোগে তৎকালীন ভদ্র মহোদয়ের প্রচেষ্টায় পুনরায় চালু হয়। ৮ এর দশকে দুবরাজ আশ্রমের কর্নধার ‘স্বামী ভুপানন্দ মহারাজের অর্থ সাহায্যে যজ্ঞ স্থলের আচ্ছাদন , সত্যানন্দ পুকুর ঘাট সংস্কার করেন।

মহাযজ্ঞ উপলক্ষে দুইদিন ব্যাপী এক গ্রাম্য মেলা হয়। সন্ধ্যায় তেলের মারুলি দিয়ে নিলবাতি দিতে হাজির হন ঘরের গৃহবধূরা। এ এক ব্যতিক্রমী দৃশ্য। নর নারায়ন সেবা সে এক দেখার মত। খগেশ্বরনাথ মন্দির হতে ১০০ মিটার দূরে অবস্থিত বাবা কটাক্ষ ভৈরবনাথ মন্দির, মনোরম পরিবেশের মধ্যে। এই মন্দির বহু সত্য ঘটনার সাক্ষী। এখানে মানুষ ধর্না দিতেন। বহু দুরারোগ্য ব্যাধির এই ধর্ণার ফলে উপশম হত। এই ধর্না নিয়ে অজস্র কাহিনী রহিয়াছে যাহা সবই সত্য ঘটনা। মন্দিরের নিত্য পূজা ও ভোগের দায়িত্ব ঘোষাল পরিবার ও রায় পরিবারের। পুর্ণারথীদের দানের টাকায় চলে সারা বছরের নিত্য পূজা ও সেবা কার্য্য। বাবার এমন মাহাত্বে একদিনও পুণ্যার্থী না আসা হন না। সন্ধ্যায় বাবার শীতল হয়। ধর্মের টানেই প্রাচীন ইতিহাসের ধারাবাহিকতাকে বয়ে চলেছে বর্তমান প্রজন্ম। এত প্রাচীন এবং বহু মানুষের সমাগম ঘটলেও সেইরকম ভাবে সরকারি দৃষ্টি আকর্ষণ হয়নি। যদিও ‘ west bengal heritage commission’ এর তীর্থ স্থানের সীমা নির্ধারণ থাকলেও অদ্যবধি সেই তিমিরে রহিয়াছে। সরকারি দৃষ্টি আকর্ষণ তৎ সহ স্থানীয় বিধায়কের দৃষ্টি আকর্ষণ হলে তবেই পর্যটন কেন্দ্র হিসাবে পরিগণিত হবে।

অবস্থান : মৌজা বালিজুড়ি, জে এল নং -২১ , খতিয়ান : ৮৮১ , মোট তিনটি দাগে মন্দিরটি অবস্থিত, দাগ নং – ১৩০৩, ১৩০৫, ১৩০৯ ।