Dibangun pada akhir tahun 1995 dengan menelan biaya Rp. 15.000.000, gedung Madinah yang terletak di sebelah barat mesjid Pesantren dibongkar pada Senin 8 April 2019. Gedung semi permanen berukuran 33x9m ini telah mengalami beberapa perubahan fungsi. Awalnya, gedung ini diperuntukkan sebagai dapur dan ruang makan santri putra yang saat itu berjumlah 420 orang. Seiring bertambahnya jumlah santri, Pada tahun 2004, ruang makan santri putra dipindah ke gedung baru di sebelah barat daya kampus putra hingga saat ini, dan gedung Madinah beralih fungsi menjadi kamar guru, toko pelajar, dan studio foto. Selanjutnya, toko pelajar dipindah ke gedung Indonesia lantai 1 yang telah selesai direnovasi pada bulan Maret, dan lahan bekas gedung Madinah akan dijadikan sebagai area terbuka dan akses utama dari gerbang utama Pesantren jalan Setia Budi menuju mesjid dan pusat kantor administrasi.