শ্যামাচরণের বিবাহের দীর্ঘকাল পর এই ভাড়া বাড়িতেই ১৮৬৩ খৃষ্টাব্দে জগন্নাথদেবের স্নান যাত্রার দিন তাঁহার জ্যেষ্ঠপুত্র তিনকড়ি লাহিড়ী মহাশয়ের জন্ম হয়। কাশীমণি দেবী অত্যন্ত শান্ত, দয়াবতী ও সুগৃহিণী ছিলেন । স্বামীর প্রচণ্ড অর্থকষ্টের সময়ও তিনি পরম ধৈর্য সহকারে সবদিক সামলাইয়া চলিতেন।

তাঁহার সুবিবেচনা ও ব্যবস্থার গুণে পতির সামান্য উপার্জন হইতে সঞ্চয় করিয়া ১৮৬৪ খৃষ্টাব্দে গরুড়েশ্বরে একটি বসতবাটি ক্রয় করিয়া সেখানে বাস করিতে লাগিলেন। এইখানে ১৮৬৫ খৃষ্টাব্দে রথযাত্রার দিনে তাঁহার কনিষ্ঠ পুত্র দুকড়ি লাহিড়ী মহাশয়ের জন্ম হয়। এই বাড়িতেই ১৮৬৮ খৃষ্টাব্দে বড় কন্যা হরিমতি, ১৮৭০ খৃষ্টাব্দে মধ্যমা কন্যা হরিকামিনী ও ১৮৭৩ খৃষ্টাব্দে কনিষ্ঠা কন্যা হরিমোহিনীর জন্ম হয়। শ্যামাচরণ এইখানেই সমগ্র জীবন অতিবাহিত করিয়াছিলেন।

কাশীমণি দেবী কখনও অলসভাবে সময় কাটাইতেন না। প্রাতঃকালে সর্বপ্রথম আগত ভিক্ষুককে স্বহস্তে ভিক্ষা দিতেন। তাঁহার বিশ্বাস ছিল যে লক্ষ্মীছাড়ার ঘরে ভিখারী আসে না, তাই কোন দিন ভিখারী আসিতে বিলম্ব হইলে তাঁহার দুশ্চিন্তার সীমা থাকিত না। স্বামীর অল্প আয় থাকায় সমস্ত গৃহকার্য্য স্বহস্তে করিতেন। অতিথি ও আগন্তুক প্রায়ই আসিত। তিনি স্বহস্তে রন্ধন করিয়া, সকলকে তৃপ্তি-পূর্বক ভোজন করাইতেন। তখনকার দিনে স্ত্রীলোকদের মধ্যে প্রবাদ ছিল যে সব স্ত্রীলোক লেখাপড়া শেখে তাহারা পরবর্তী জীবনে গণিকা হইয়া জন্মগ্রহণ করে। তাই কাশীমণি দেবী লেখাপড়ায় বিমুখ ছিলেন। কিন্তু শ্যামাচরণ নিজে লেখাপড়া পছন্দ করিতেন। তাই তিনি গভীর রাতে নিজ স্ত্রীকে কিছু কিছু লেখাপড়া শিখাইয়াছিলেন। পরবর্তীকালে দেখা যায় কাশীমণি দেবী ধর্মগ্রন্থ সমূহ নিজেই পাঠ করিতেন। এই পুণ্যবতী নারী স্বামীর প্রদর্শিত যোগপথে সাধনা করিয়া দীর্ঘ জীবন লাভ করিয়াছিলেন। তিনি সাধনার এক উচ্চ অবস্থায় পৌঁছাইতে সক্ষম হইয়াছিলেন। কাশীমণি দেবী প্রায় ৯৪ বৎসর বয়সে ১৩৩৭ সালের ১১ই চৈত্র, ইংরাজী ১৯৩০, সজ্ঞানে কাশীলাভ করেন।