Madrasah Tsanawiyah Negeri 2 Aceh Besar ( sebelumnya bernama MTsN Tungkob) didirikan pada tanggal 02 April 1962 yang diprakarsai oleh sebuah Badan Pembina Pendirian Sekolah Menengah Islam (SMI).
Pada 15 Juli 1968, Sekolah Menengah Islam (SMI) berubah statusnya menjadi Negeri sesuai dengan Surat Keputusan Menteri Agama Republik Indonesia Nomor 147 Tahun 1968 dengan nama ” MTsAIN ” singkatan dari : “Madrasah Tsanawiyah Agama Islam Negeri” menganut kurikulum 70 % pelajaran agama lslam dan 30 % pelajaran Umum.
Pada tahun 1980 sesuai Keputusan Menteri Agama RI, MTsAIN dirubah namanya menjadi “Madrasah Tsanawiyah Negeri Tungkob” atau disingkat menjadi “MTsN Tungkob” dengan menganut kurikulum 30 % pelajaran Agama Islam dan 70 % pelajaran Umum. Pada Tahun Pelajaran 2003/2004 tepatnya tanggal 24 Mei 2003 siswa dan siswi Madrasah Tsanawiyah Negeri Tungkob sudah dapat mengikuti Ujian Akhir Nasional (UAN). Dengan dikeluarkannya Surat Keputusan Menteri Agama Republik Indonesia Nomor 670 tahun 2016, maka MTsN Tungkob berubah menjadi MTsN 2 Aceh Besar. Penetapan MTsN 2 Aceh Besar sebagai Madrasah Inovasi berdasarkan Surat Keputusan Kepala Kantor Wilayah Kementerian Agama Provinsi Aceh Nomor 323 tanggal 09 Agustus 2021.
Sejak didirikan sampai sekarang MTsN 2 Aceh Besar sudah dipimpin oleh 9 (Sembilan) orang Kepala Madrasah, yaitu :
1. Tahun 1962 – 1973 Ilyas Yusuf, BA
2. Tahun 1973 – 1991 Drs. Ibrahim Ismail
3. Tahun l991 – 2001 Drs. Burhanuddin Umar
4. Tahun 2001 – 2002 Drs.Uzair
5. Tahun 2002 – 2005 Dra.Sri Rahayuningsih
6. Tahun 2005 – 2011 Drs.Hamdan
7. Tahun 2011 – 2018 Drs. Asnawi Adam, M.Pd
8. Tahun 2018-2019 Satria, S.Ag. M.Ed
9. Tahun 2019-sekarang Sudirman M. S.Ag