Tahun 1998 merupakan tahun bersejarah bagi bangsa Indonesia, dimana aliansi mahasiswa dari berbagai penjuru Indonesia menuntut presiden masa itu (Soeharto) turun dari jabatannya karena cenderung monarki dan nepotisme. Dalam catatan sejarah, tahun 1998 dikenal masa transisi kepemimpinan dari masa Orde Baru menuju masa reformasi. Bersamaan dengan masa itu, di kala rakyat Indonesia secara keseluruhan menghendaki perubahan, disaat itu pula muncul di lingkungan IAIN Sunan Kalijaga Yogyakarta kehendak untuk perubahan, yaitu kehendak untuk pengembangan jiwa spiritual mahasiswa  bernuansa keislaman. Maka didirikanlah sebuah organisasi keagamaan di IAIN Sunan Kalijaga Yogyakarta yang membidangi minat dan bakat mahasiswa. Organisasi ini bernama Jam’iyyah al-Qurra’ wa al-Huffazh (JQH) al-Mizan.

Pada awalnya jauh sebelum tahun 1998, embrio UKM JQH al-Mizan sudah ada yaitu berasal dari dua komunitas/BOM-F di Fakultas Syariah (tilawah) dan Fakultas Ushuludin (halaqoh tahfizh) yang anggota dan pengurusnya tidak hanya dari fakultasnya masing-masing namun juga berasal dari fakultas lain. Besarnya antusias mahasiswa IAIN Sunan Kalijaga dan dikuatkan dengan saran pembina pada saat itu, pada akhirnya diusulkan agar al-Mizan menjadi UKM tingkat universitas sehingga seluruh mahasiswa IAIN Sunan Kalijaga bisa menjadi anggota al-Mizan.

Setelah melalui raker dengan dibuatnya AD/ART yang bertempat di Bantul, suatu tempat bagian Selatan Yogyakarta. Organisasi ini disahkan melalui SK rektor oleh Prof. Dr. Atho’; dan ditetapkan sebagai Unit Kegiatan Mahasiswa (UKM) tepatnya pada tanggal 28 Oktober 1998 di bawah pengawasan Pembantu Rektor III. Terbentuknya JQH al-Mizan tentu tidak terlepas dari kegelisahan segelintir mahasiswa IAIN Sunan Kalijaga yang menginginkan adanya organisasi minat dan bakat dalam bidang seni qurani. Awal berdiri, setelah ditetapkan sebagai Unit Kegiatan Mahasiswa (UKM), JQH al-Mizan diketuai oleh Ujang Shihabudin dengan  memfokuskan keilmuan dalam bidang qiro’ah, tahfizh, dan tafhim.

Tentu penamaan al-Mizan tidak sekedar simbolis sebuah nama organisasi saja, dan tidak pula tanpa adanya arti filosofis. Secara literlek, al-Mizan berarti timbangan atau istilah lain pengukur keseimbangan. Oleh karena itu, organisasi ini dinamakan al-Mizan dimaksudkan sebagai penyeimbang perjalanan mahasiswa IAIN agar tidak terlalu jauh melepaskan diri dari budaya keislaman serta tidak menjauh dari kultur akademik modern pada waktu itu.

Kegiatan-kegiatan yang dilakukan awal berdirinya JQH al-Mizan meliputi seni baca al-Qur’an (tilawah), mengasah kemampuan menghafal al-Qur’an (tahfizh), dan olah pikir untuk memahami al-Qur’an (tafhim). Dari ketiga kegiatan tersebut terus mendapat pembinaan dari orang-orang berkompeten di bidangnya. Pembina tilawah dengan Ustadz Mohammad Nur, Tahfizh dengan Ustadz Sukamto, dan Tafhim dengan Ustadz Malik Madani. Akan tetapi tidak lama kemudian, setelah pergantian ketua dari Ujang Shihabudin ke Mohammad Irohan pada tahun 2000-2002, Pembina dirampingan menjadi satu Pembina.pada periode ini Pembina al-Mizan adalah Malik Madani hingga enam periode berikutnya.

Kebutuhan akan pengembangan minat dan bakat mahasiswa IAIN Sunan Kalijaga senantiasa terus menjadi tuntutan secara keseluruhan. Banyaknya mahasiswa yang memiliki kemampuan seni menulis al-Qur’an menjadi tuntutan untuk dibentuknya wadah pengembangan seni menulis al-Qur’an di bawah naungan JQH al-Mizan. Maka, pada tahun 2002-2003 dengan ketua umum Ahmad Fauzan dibentuklah wadah pengembangan seni tulis al-Qur’an, yaitu divisi kaligrafi. Di samping beberapa faktor yang mendukung adanya difasilitasi dengan menciptakan wadah khusus, agar bisa berkembang dengan maksimal sesuai dengan harapan. Selain itu, juga karena faktor dari berbagai macam event seperti MTQ yang di dalamnya terdapat perlombaan kaligrafi. Oleh karena itu, penentuan pengurus dan program pelatihan serta pengembangan di bidang ini dirasa sangat penting.

Selain penambahan divisi kaligrafi, pada tahun 2001-2002 terjadi perubahan istilah pada divisi tafhim menjadi divisi tafsir. Perubahan ini, didasarakn atas perubahan orientasi pembelajaran yang mengarah pada metodologi penjelasan makna-makna al-Qur’an secara sistematis. Hal ini juga terpengaruh oleh perkembangan wacana ke al-Qur’an-an yang berkembang di Fakultas Ushuluddin secara khusus dan kampus IAIN pada umumnya.

Masa kepengurusan 2003-2004 yang diketuai oleh M. Burhanuddin, terjadi pula penambahan divisi yaitu divisi shalawat. Wacana tentang pembentukan divisi baru ini berkembang dalam divisi tilawah, dimana notabene anggotanya memiliki kemampuan dan bakat bersenandung kalimat-kalimat thayyibah dengan diiringi musik tradisional. Sehingga wacana pembentukan divisi ini akhirnya diwujudkan dalam sebuah wadah tersendiri, yang bertujuan untuk pengembangan kreativitas mahasiswa dalam bidang shalawat tradisional.

Setelah bejalan beberapa tahun, pada masa kepengurusan 2004 sampai 2019 organisasi ini tidak lagi terjadi penambahan divisi ataupun perubahan nama dalam struktur organisasi. Lima divisi dengan karakter dan program kerja yang berbeda-beda sudah terasa besar dalam sebuah kepengurusan di UKM JQH al-Mizan. Nama al-Mizan pun kini semakin masyhur akan jiwa Qur’aninya.