Berdirinya Institut Agama Islam Negeri (IAIN) di Indonesia berlandaskan pada Peraturan Presiden Nomor 11 Tahun 1960 tanggal 9 Mei 1960 di Yogyakarta dengan nama Al-Jami’ah Al-Islamiyah Al-Hukumiyah. Perwujudan IAIN merupakan gabungan dari Perguruan Tinggi Agama Islam Negeri (PTAIN) Yogyakarta dan Akademi Dinas Ilmu Agama (ADIA) yang berkedudukan di Jakarta.

Kehadiran IAIN merupakan tuntutan kebutuhan dasar umat Islam dalam upaya mengembangkan syi’ar agama melalui wadah perguruan tinggi yang lebih profesional, yakni perguruan tinggi Islam negeri yang sekaligus diharapkan dapat membantu pemerintah dalam menyiapkan sumber daya insani dan ahli dalam Agama Islam.

Akan halnya pendirian IAIN Sumatera Utara pada tahun 1973 di Medan, dilatarbelakangi dan didukung oleh beberapa faktor pertimbangan objektif. Pertama, Perguruan Tinggi Islam yang berstatus Negeri pada saat itu belum ada di Provinsi Sumatera Utara, walaupun yang berstatus swasta memang sudah ada. Kedua, pertumbuhan pesantren, madrasah dan perguruan-perguruan agama yang sederajat dengan SLTA di daerah Sumatera Utara tumbuh dan berkembang dengan pesatnya, yang sudah tentu memerlukan adanya pendidikan lanjutan yang sesuai, yakni adanya Perguruan Tinggi Agama Islam yang berstatus Negeri.

Dalam suasana yang demikian, timbullah inisiatif H. Ibrahim Abdul Halim, Kepala Inspeksi Pendidikan Agama Provinsi Sumatera Utara, beserta teman-temannya untuk mendirikan Fakultas Tarbiyah di Medan. Usaha ini terwujud dengan terbentuknya suatu Panitia Pendirian Fakultas Tarbiyah Persiapan IAIN pada tanggal 24 Oktober 1960, yang diketuai oleh Letkol. Raja Syahnan.

Seiring dengan berdirinya Fakultas Tarbiyah Persiapan IAIN Medan, Yayasan K.H. Zainul Arifin pada tahun 1967 mendirikan Fakultas Syari’ah, yang juga ingin berubah menjadi berstatus negeri, sebagaimana halnya dengan Fakultas Tarbiyah IAIN Medan, yaitu dengan mengajukan surat permohonan Nomor 199/YY/68 tanggal 20 Juni 1968 kepada Menteri Agama RI di Jakarta. Untuk mewujudkan keinginan itu, Menteri Agama mengambil kebijaksanaan dengan menggabungkan Panitia Penegerian Fakultas Tarbiyah dengan Panitia Penegerian Fakultas Syari’ah. Akhirnya, penegerian kedua fakultas serentak dilakukan pada hari Sabtu tanggal 12 Oktober 1968 bertepatan dengan tanggal 20 Rajab 1389 H, oleh Menteri Agama RI K.H. Moh. Dahlan, bertempat di Aula Fakultas Hukum USU Medan. Upacara bersejarah ini disaksikan oleh tokoh-tokoh masyarakat, pembesar sipil dan militer serta Rektor IAIN Ar-Raniry Banda Aceh. Dalam acara itulah, Drs. Hasbi AR dilantik sebagai Pj. Dekan Fakultas Tarbiyah, dan H. T. Yafizham, SH sebagai Pj. Dekan Fakultas Syari’ah dengan Surat Keputusan Menteri Agama RI Nomor 224 dan 225 Tahun 1968.

Walaupun sejak tanggal 12 Oktober 1968 Menteri Agama RI telah meresmikan 2 (dua) buah Fakultas, yaitu Fakultas Tarbiyah dan Fakultas Syari’ah yang berkedudukan di Medan sebagai Fakultas Cabang dari IAIN Ar-Raniry Banda Aceh, namun semangat dan tekad untuk mewujudkan IAIN yang berdiri sendiri di Medan tetap menjadi harapan setiap warga masyarakat, organisasi-organisasi agama, organisasi pemuda dan mahasiswa terutama dari pimpinan IAIN Cabang Medan. Respons dari pihak Pemerintah Daerah dan Departemen Agama RI untuk memenuhi keinginan agar suatu IAIN penuh dan berdiri sendiri terwujud di Medan, ditindaklanjuti dengan mempersiapkan gedung-gedung perkuliahan, perpustakaan, tenaga dosen dan administrasi serta sarana dan prasarana pendidikan lainnya.

Demikianlah, pada hari Senin, 24 Syawal 1393 H, bertepatan tanggal 19 Nopember 1973, pukul 10.00 Wib, IAIN Sumatera Utara resmi berdiri yang ditandai dengan Pembacaan Piagam Pendirian oleh Menteri Agama RI Prof. Dr. H. Mukti Ali, M.A. Sejak saat itu, resmilah Fakultas Tarbiyah dan Fakultas Syari’ah IAIN Ar-Raniry yang ada di Medan serta Fakultas Tarbiyah dan Fakultas Ushuluddin IAIN Imam Bonjol yang ada di Padangsidimpuan menjadi IAIN Sumatera Utara sesuai dengan Keputusan Menteri Agama RI Nomor 97 Tahun 1973 tanggal 19 Nopember 1973.

Dalam pada itu, Fakultas Ushuluddin yang semula berkedudukan di Padangsidimpuan dipindahkan ke Medan yang dilaksanakan pada tahun 1974 berdasarkan Keputusan Menteri Agama RI Nomor 9 Tahun 1974 tanggal 18 Februari 1974. Demikianlah, sampai dengan tahun 1997, tercatat 5 (lima) Fakultas di lingkungan IAIN Sumatera Utara. Empat di antaranya berdomisili di Medan yaitu: Fakultas Tarbiyah, Fakultas Syari’ah, Fakultas Ushuluddin dan Fakultas Dakwah, dan 1 (satu) Fakultas lagi berada di Padangsidimpuan yaitu Fakultas Tarbiyah IAIN Sumatera Utara Cabang Padangsidimpuan. Akan tetapi dalam perkembangan selanjutnya, fakultas yang disebut terakhir ini melepaskan diri dari IAIN Sumatera Utara sesuai dengan Keputusan Presiden Nomor 11 Tahun 1997, tanggal 21 Maret 1997 tentang Pendirian Sekolah Tinggi Agama Islam Negeri (STAIN) bagi Fakultas-fakultas cabang IAIN se Indonesia. Sejak saat itulah Fakultas Tarbiyah IAIN Sumatera Utara cabang Padangsidimpuan beralih status menjadi STAIN Padangsidimpuan sebagai Perguruan Tinggi Agama Islam Negeri yang berdiri sendiri.

Dalam perkembangan selanjutnya IAIN Sumatera Utara tidak saja membuka program S1. Pada Tahun Akademik 1994/1995 IAIN Sumatera Utara membuka pula Program Pascasarjana (S2), dan selanjutnya pada tahun 2006/2007 membuka program Doktor (S3).

Perkembangan dan kemajuan dalam bidang akademik tidak terlepas dari berbagai upaya yang dilakukan dalam bidang manajemen administrasi dan kepegawaian. Setelah peresmian IAIN Sumatera Utara, pimpinan menetapkan kebijaksanaan dalam bidang ketatausahaan yang bertujuan untuk memusatkan beberapa bidang kegiatan administrasi di kantor pusat IAIN Sumatera Utara agar setiap fakultas dan unit-unit lainnya dapat lebih memfokuskan kegiatan dalam peningkatan kualitas akademik. Kebijaksanaan tersebut dituangkan dalam Keputusan Rektor Nomor 22 tahun 1974. Langkah ini tentu saja terus dikembangkan sesuai dengan tuntutan perkembangan dan perubahan.