বনওয়ারী নগর রাজবাড়ি প্রতিষ্ঠার নেপথ্যে আরও একটি জনশ্রুতি আছে তবে তার ঐতিহাসিক কোনো ভিত্তি পাওয়া যায়নি। জমিদার রায় বাহাদুর তাড়াশ থেকে করতোয়া, গুমানী, বড়াল ও চিকনাই নদীপথে এসে ইছামতি নদী দিয়ে পাবনা সদরে খাজনা দিতে যেতেন। যাত্রাপথে একবার তিনি বড়াল নদীর পাড়ে সুন্দর ছায়াঘেরা স্থানে যাত্রাবিরতি করেন। সে সময় তিনি একটি অদ্ভুত দৃশ্য দেখে মুগ্ধ হন। ব্যাঙ সাপকে ভক্ষণ করছে। এতে তিনি বুঝতে পারেন জায়গাটি ব্যতিক্রম।

কারণ হিন্দু শাস্ত্রমতে সাপ মনসাদেবীর প্রতিমূর্তি। তিনি জায়গাটির গুরুত্ব বিবেচনা করে এখানে বাড়ি তৈরি করেন এবং আস্তে আস্তে তাড়াশ থেকে বনওয়ারী নগরে তার জমিদারীর সকল কার্যক্রম স্থানান্তর করেন। জমিদার বনওয়ারী লাল রায় বাহাদুর বৃহত্তর পাবনা জেলার বর্তমানে সিরাজগঞ্জ জেলার তাড়াশ উপজেলার দেবচড়িয়া গ্রামের বাসুদেব তালুকদার ওরফে নারায়ণদেব চৌধুরীর বংশধর। বনওয়ারী লাল রায়ের দুই পত্নী ছিলেন। তাদের কারও সন্তানাদি না থাকায় রঘুনাথ রায়ের ভাই হরিনাথ রায়ের বংশের বনমালী রায়কে বনওয়ারী লাল রায়ের প্রথমা স্ত্রী পোষ্যপুত্র হিসেবে গ্রহণ করেন।

১৮৮২ সালে দত্তক পিতা বনওয়ারী লাল রায়ের মৃত্যুর পর বনমালী রায় তার বিষয় সম্পত্তির উত্তরাধিকারী হয়ে জমিদারী পরিচালনা করতে থাকেন।