ভিতরবন্দ জমিদারীর শেষ জমিদার শ্রী ধীরেন্দ্র কান্ত রায় চৌধুরী ১৮৯৯ সালে এই কাচারীঘরটি নির্মাণ করেন। কাচারী ঘরটি বৈঠকখানা হিসেবে ব্যাবহার হতো। এখানে বহুবিদ কাজ সম্পাদন করতেন জমিদার। নাটশালা হিসেবেও ব্যবহার হত এটি।

এই কাচারীঘরে পাশেই দাড়িয়ে আছে ১৮১৯ সালে নির্মিত শ্রী শ্রী গোপালজিউ মন্দির। মূল জমিদার বাড়িটি ছিলো ১৫ একর ৪২ শতক জমির উপর ১৮ কোঠা বিশিষ্ঠ একটি পাকা দালান, একটি কাচারী বাড়ি, তিনটি মন্দির, তিনটি দিঘি ও বাগান।

জমিদার ধীরেন্দ্র কান্ত রায় চৌধুরীরর পিতা জমিদার সারদাকান্ত রায় ১৮ কোঠা দালানটি ১৮ শতকের গোড়ার দিকে নির্মাণ করেন। এবং আত্মাধীক জ্ঞান লাভের জন্য তিনটি মন্দিরও নিমাণ করেন। প্রজাদের সুপেয় পানির জন্য খনন করেন তিনটি দিঘি।

পরবর্তীতে ১৯২২ সালে জমিদার ধীরেন্দ্র কান্ত রায় চৌধুরী অসুস্থ্য হয়ে পড়লে বাড়িসহ ৭একর ১৮ শতক জমি স্ত্রী প্রতিভা বালা চৌধুরানীর নামে উইল করেন এবং ৮ একর ২৪শতক জমি মন্দিরে দেবোত্তর সম্পতি হিসেবে দান করেন। ১৯২৪ সালে জমিদার পরলোকগমন করলে প্রভাতিবালা জমিদারী চালান।

১৯৪৯ সালে জমিদার প্রথার বিলুপ্ত হলে শুধুমাত্র বাড়ি এবং মন্দিরের জমি প্রতিভা বালার দখলে থাকে। ১৯৭৬ সালে প্রভাতিবালা সমস্তকিছু দেখভালের জন্য কর্মচারী মন্তোস কুমার চৌধুরীকে দ্বায়িত্ব দিয়ে তির্থ ভ্রমনে ভারতে যান। একমাত্র মেয়ে কনকবালার কলকাতার বাড়িতে তিনি কিছু বছরপর পরলোক গমন করেন।

এদিকে দ্বায়িত্ব পাওয়া মন্তোস কুমার কিছু সম্পত্তি বিনষ্ট করে এবং স্থানীয়দের চাপে ১৯৮৪ সালে সপরিবারে ভারতে চলে যান। তার ভারতে যাওয়ার পরপরই ওই বছর জমিদারের বাড়ি বেদখল এবং লুটপাট হয়। ১৮ কোঠা দালানটি ভেঙ্গেচুরে নিচিহ্ন করে একটি মহল। তবে ধ্বংসের হাত থেকে বেঁচে যায় কাচারী ঘরটি। পরবর্তিতে লাওয়ারীশ সম্পত্বি হিসেবে প্রতিভাবালার নামীয় জমি সরকার ১নং খাস খতিয়ানের অন্তর্ভূক্ত করে দখলদারদের বিরুদ্ধে মামলা দ্বায়ের করে। নিম্নকোর্টে সরকার পক্ষ রায় পায়।

পরে দখলদার উচ্চ আদালতে আপিল করে। বর্তমানে মামলাটি চলমান রয়েছে। তবে দেবত্তোর মন্দিরের জমি কিছুটা বেহাত হলেও বেশীর ভাগ রয়েছে মন্দিরের দখলেই। সরকার সেখানে একটি আধুনিক মন্দির পুননির্মাণ করেছে ২০১২ সালে। এদিকে জমিদার বাড়ির জমির কিছু অংশে ইউনিয়ন পরিষদের ভবন নির্মানাধীন রয়েছে এবং ইতিমধ্যে ইউনিয়ন স্বাস্থ্য কমপ্লেক্স ভবন নির্মিত হয়েছে।

জমিদার ধীরেন্দ্রকান্ত রায় চৌধুরী ছিলেন একজন শিক্ষা ও সংস্কৃতি বান্ধব ব্যাক্তি। তার সময়ে ভিতরবন্ধ ছিলো শিক্ষা এবং সংস্কৃতির তির্থস্থান। তিনি শিক্ষা বিস্তারের জন্য ১৯০৩ সালে এ্যডওয়ার্ড পাবলিক লাইব্রারী, ১৯১৭সালে ইএম স্কুল প্রতিষ্ঠা করেছিলেন। এছাড়া একটি থিয়েটার হলও নির্মাণ করেন। যা এখন বিলুপ্ত। স্থানীয়দের দাবী জমিদারের যেটুকু স্মৃতি রয়েছে তা যেন ভালোভাবে সংরক্ষন করা হয়।

ভিতরবন্দ ইউনিয়ন পরিষদ চেয়ারম্যান আমিনুল ইসলাম বাচ্চু জানান, ইউনিয়ন পরিষদের কার্যক্রম নুতুন ভবনে নিয়ে যাওয়ার পর ২শ বছরের পুরাতন এই ভবনটি ঐতিহাসিক নিদের্শণ হিসেবে রাখা হবে। এবং এই কাচারী ঘরটিতে একটি যাদুঘর প্রতিষ্ঠার ইচ্ছা আছে। যদি বরাদ্দ পাই তাহলে কাচারী ঘরটি মেরামত করে জমিদারের সকল স্মৃতি সেখানে সংরক্ষন করা হবে।