হীরা, জহরত ও স্বর্ণ ব্যবসার জন্য তৎকালীন রঙ্গপুরের (রংপুর) মাহিগঞ্জে এসেছিলেন তিনি। প্রথমে বিভিন্ন ধরনের নামিদামি হীরা, মানিক, জহরতখচিত তাজ বা টুপির ব্যবসা ছিল তার। তাজ বিক্রির লক্ষ্যে এখানে হাট বসত। তাজহাটকে কেন্দ্র করে এ জমিদার বাড়ির নামকরণ হয়। সাদা রঙের বিশাল প্রাসাদটি বেশ বড় জায়গা নিয়ে বিস্তৃত। প্রাচীন মোগল স্থাপত্যের আদলে বানানো বাড়িটির মধ্যভাগে বিশাল একটি গম্বুজ। দু’পাশে ছড়িয়ে যাওয়া দালানগুলোর একটি মসজিদ আকৃতির।

এটি প্রায় ২১০ ফুটের মতো প্রশস্ত ও চার তলার সমান উঁচু। প্রাসাদে মোট ৩১টি সিঁড়ি আছে। প্রতিটিই ইতালীয় ঘরানার মার্বেল পাথরে তৈরি। এ ভবনে রয়েছে কয়েকটি প্রদর্শনী কক্ষ। এগুলোতে শোভা পাচ্ছে দশম ও একাদশ শতাব্দীর টেরাকোটা শিল্পকর্ম। রয়েছে সংস্কৃত ও আরবি ভাষায় লেখা বেশকিছু প্রাচীন পাণ্ডুলিপি।

এর মধ্যে উল্লেখযোগ্য মোগল সম্রাট আওরঙ্গজেবের শাসনামলের কোরআন, মহাভারত ও রামায়ণের মূল কপি। পেছনের ঘরে বেশকিছু কালো পাথর দিয়ে সাজানো হিন্দু দেবতা বিষ্ণুর প্রতিকৃতি। কিন্তু জাদুঘরের ভেতরে ছবি তোলার ওপর নিষেধাজ্ঞা রয়েছে। বাড়িটির চত্বরে রয়েছে বিশাল খালি মাঠ আর সারি সারি গাছ। বাড়ির দু’পাশে দুটি পুকুর। বাড়ির সামনে সুন্দর ফোয়ারার শ্বেতশুভ্র মার্বেল ও তার সবুজাভ নকশা কালের বিবর্তনে কিছুটা মলিন হলেও এখনও এর জৌলুস বোঝা যায়। কথিত আছে, রানীর জন্য বিশেষভাবে এটি নির্মাণ করা হয়েছিল।

রাজবাড়ীর পেছনের অংশে রয়েছে গুপ্ত সিঁড়ি। জনশ্রুতি রয়েছে, এটি কোনো একটি সুড়ঙ্গের সঙ্গে যুক্ত যা সরাসরি ঘাঘট নদীর সঙ্গে যুক্ত। যদিও সিঁড়িটি নিরাপত্তাজনিত কারণে বন্ধ করে দেওয়া হয়েছে।

এটি একটি ঐতিহাসিক প্রাসাদ। ১৯৮৪ থেকে ১৯৯১ সাল পর্যন্ত রংপুর হাইকোর্ট ও বাংলাদেশ সুপ্রিম কোর্টের একটি শাখা বা বেঞ্চ হিসেবে ব্যবহৃত হয় এ প্রাসাদ। ১৯৯৫ সালে বাংলাদেশ সরকারের প্রতœতত্ত্ব বিভাগ তাজহাট জমিদার বাড়িকে একটি সংরক্ষিত স্থাপনা তথা স্থাপত্য হিসেবে ঘোষণা করে।