Madrasah Aliyah Wahid Hasyim berawal dari PGA 6 tahun yang didirikan oleh Yayasan Ma’arif  NU DIY pada tanggal 2 Februari tahun 1968. Hal ini didasarkan pada salinan Piagam Pendirian No. 78/16/E.A tertanggal 12 Juli 1978. Pada sekitar tahun 1973, PGA Wahid Hasyim mengalami kemunduran, karena tempat yang dipakai diminta kembali oleh pemiliknya. Kemudian pengelola PGA Wahid Hasyim  berkeinginan bergabung dengan Madrasah yang dikelola oleh KH. Abdul Hadi di Gaten. Pada saat itu KH. Abdul Hadi sudah mengelola MI Gaten.

Pada tahun 1978, pemerintah melalui Departemen Agama RI, membuat kebijakan restrukturisasi Madrasah sesuai SK Menteri Agama No. 15, 16, 17 dan 19 tahun 1978, menetapkan perubahan PGA 6 tahun menjadi Madrasah Tsanawiyah dan Madrasah Aliyah. Karena pengaruh kebijakan pemerintah tersebut, maka PGA Wahid Hasyim berubah nama menjadi Madrasah Aliyah Wahid Hasyim dan Madrasah Tsanawiyah Wahid Hasyim.

Pada sekitar tahun 1976, pada tempat yang sama  secara resmi berdiri Pondok Pesantren Wahid Hasyim yang didirikan oleh KH. Abdul Hadi. Pada saat awal-awal pendirian antara pondok dan madrasah dalam hal manajemen pengelolaan masih terpisah.

Untuk memantapkan dan menguatkan status pondok tersebut, maka pada tahun 1994 didirikan Yayasan pondok pesantren Wahid Hasyim dengan Akte Notaris No. W22.DB.UM.07.01-28 YK-94 tertanggal 12 Oktober 1994. Antara tahun 1980-an sampai 1990, Madrasah Aliyah Wahid Hasyim mengalami kemunduran dalam pengelolaan, Yayasan LP Ma’arif sebagai pendiri kurang memperhatikan, pihak pondok pesantren sebagai lokasi yang ditempati mau ikut mengelola tidak mempunyai kewenangan dan kekuatan hukum. Akhirnya pada tahun 1994 dengan pertimbangan efektivitas pengelolaan dan demi kemajuan pendidikan yang ada di lingkungan Wahid Hasyim, maka wewenang pengelolaan Madrasah Aliyah Wahid Hasyim dilimpahkan dari Yayasan LP. Ma’arif NU DIY ke Yayasan Pondok Pesantren Wahid Hasyim. Sejak saat itu dua lembaga tersebut bisa saling mengakses dalam rangka memajukan pendidikan di Lingkungan Yayasan Pondok Pesantren Wahid Hasyim.

Pada tahun 1995 di buka Program Takhasus MI, MTs, dan MA Wahid Hasyim. Program ini dibuka dalam rangka meningkatkan prestasi siswa yang berdomisili di Pondok pesantren dan menyuburkan perkembangan madrasah dari segi perolehan siswa. Ternyata program tersebut cukup efektif dalam memajukan Madrasah Aliyah, hal ini didukung dengan kebijakan bahwa santri yang usia sekolah SLTP/SLTA bila berdomisili di pondok, maka wajib sekolah di Madrasah Aliyah Wahid Hasyim. Perkembangan selanjutnya para santri pondok banyak yang membawa familinya untuk belajar ilmu agama dan sekaligus menyekolahkan di Madrasah Aliyah Wahid Hasyim.

Pada masa awal, MA Wahid Hasyim hanya mengembangkan program IPS (Ilmu Pengetahuan Sosial). Akan tetapi sejak tahun 1996 MA. Wahid Hasyim membuka program IPA (ilmu pengetahuan alam). Hal ini dimaksudkan untuk memberi peluang yang besar kepada siswa untuk memgembangkan ilmunya. MA Wahid Hasyim tidak membuka program ilmu Agama karena rata-rata siswanya berdomisili di pondok pesantren. Sehingga secara otomatis mereka telah belajar dan mendalami agama Islam.