তৎকালীন সময়ে সৈয়দ ভোম আলী ভারতের শিলিগুড়ি থেকে সুলতান মাহমুদের আমলে হযরত খাঁজা মঈন উদ্দিন চিশতিয়ার নির্দেশে ইসলাম প্রচারের জন্য এ এলাকায় এসে হযরত শাহ জামালের সঙ্গে মিলিত হন। সম্ভবত তারাই এ মসজিদ নির্মাণ করেন বলে ধারণা করা হয়। এ হিসেবে মসজিদটি প্রায় ৭০০ বছর আগে নির্মিত হবে।

ইংরেজ শাসন আমলে মসজিদটি প্রাকৃতিক দুর্যোগে মাটির নিচে চাপা পড়ে। মসজিদ এলাকায় লোকবসতি না থাকায় জঙ্গল আচ্ছন্ন হয়ে মসজিদটি ঢাকা পড়ে যায়। বিগত ৬০ দশকের প্রথম দিকে গাইবান্ধা মহকুমা প্রশাসক হক্কানী কুতুবউদ্দিন নামে এক ধর্মপ্রাণ ব্যক্তি এসডিও হিসেবে দায়িত্ব পাওয়ার পর স্থানীয় লোকদের কাছে মসজিদটির ইতিকথা শোনেন।

লোকজনের কথা শুনে তিনি স্থানীয় জনগণের সহযোগিতায় মসজিদটি অনুসন্ধান করতে থাকেন। কিন্তু মসজিদটির জায়গায় বিশাল বটবৃক্ষ গজিয়ে ওঠায় মসজিদটি ঢাকা পড়ে গিয়েছিল। হঠাৎ একদিন প্রচণ্ড ঝড়ে বটবৃক্ষটি ভেঙে পড়লে স্থানীয় লোকজন মসজিদটি দেখতে পায়। সেই থেকে মানুষ মসজিদটিকে গায়েবি মসজিদ হিসেবেও অবহিত করে।

জামালপুর শাহী মসজিদের ইমাম মো. আবদুল হালিম ও মুয়াজ্জিন হাফেজ মো. মাহাবুর রহমান জানান, মসজিদটি বাইরে থেকে অনেক বড় মনে হলেও ভেতরে শুধু মাত্র দুই কাতারে ৬০ জন মুসল্লি নিয়ে নামাজ আদায় করা যায়। বর্তমানে জনসংখ্যা বৃদ্ধির কারণে এলাকার লোকজন মসজিদের মূল অবকাঠামো ঠিক রেখে সামনের দিকে মসজিদ ভবন নির্মাণ করেছে। পুরো মসজিদটি দ্বিতীয় তলার কাজ সম্পন্ন করা হয়েছে। এখন প্রায় ৫০০-৭০০ মুসল্লি একসঙ্গে নামাজ পড়া যায়।

মসজিদ কমিটির সাধারণ সম্পাদক ও সাবেক ইউপি চেয়ারম্যান আজহার আলী সরকার বলেন, প্রতি শুক্রবারই দূর-দূরান্ত থেকে ছুটে আসা মানুষ মসজিদে মান্নতের টাকা, গরু-ছাগল, হাঁস-মুরগি, চাল ও মিষ্টি নিয়ে আসেন এবং পোলাও করে শিন্নি বিতরণ করেন এখানে। যে কেউ যে নিয়তেই মান্নত করলে আল্লাহর অশেষ রহমতে তা পূরণ হয়।