Pondok Pesantren Inayatullah didirikan pada tahun 1998 di atas tanah wakaf dari Ibu Menik. Awalnya, tanah wakaf ini hanya dimanfaatkan untuk pembangunan Masjid An-Namiroh. Namun, dengan semangat dakwah yang tinggi, para perintis pesantren berinisiatif mendirikan sebuah lembaga pendidikan Islam untuk memaksimalkan syiar Islam di Desa Sariharjo dan sekitarnya. Langkah ini muncul dari kepedulian terhadap kondisi lingkungan sekitar yang saat itu mayoritas penduduknya, sekitar 90%, beragama Islam. Meskipun demikian, hanya ada sebuah masjid kecil berukuran 7 x 9 meter, sementara di sekitar kawasan tersebut sudah berdiri empat gereja, Asrama Bruder, dan sekolah Katolik.

Dengan melihat kondisi yang kurang seimbang ini, para perintis Ponpes Inayatullah merasa tergerak untuk mendirikan lembaga pendidikan Islam yang mampu menjadi benteng keimanan. Upaya mereka diwujudkan dengan menyediakan tanah wakaf seluas 1.000 m², yang kemudian dimanfaatkan untuk membangun masjid dengan ukuran 12 x 10 meter dan aula berukuran 10 x 15 meter. Di tempat inilah, kegiatan seperti pendidikan Al-Qur’an, pengajian, dan pembinaan santri dilaksanakan demi menjaga dan melestarikan nilai-nilai Islam di tengah masyarakat Desa Sariharjo.

Pada awal perjalanannya, Habib Musyayikh Alwi sebagai penanggung jawab Yayasan An-Namiroh menunjuk Kyai Muhammad Thoifur sebagai pengasuh pertama Pondok Pesantren Inayatullah. Setelahnya, kepemimpinan dilanjutkan oleh Ustaz Ade Chumaedi. Hingga pada tahun 2009, estafet kepemimpinan diamanahkan kepada Kyai Chamdani Yusuf, seorang ulama yang berasal dari Pondok Pesantren Al-Ma’shum, Magelang. Kyai Chamdani Yusuf terus melanjutkan cita-cita mulia para perintis, mengembangkan pesantren sebagai pusat pendidikan dan dakwah yang memberikan harapan dan cahaya keislaman bagi generasi muda dan masyarakat sekitar.