Ide pembentukan GERAK Aceh dimulai pada penghujung tahun 2003, dimana beberapa orang aktivis anti korupsi dan aktivis lingkungan melakukan analisis terhadap gerakan anti korupsi yang telah ada di Aceh saat itu. Dari diskusi tersebut dihasilkan rekomendasi bahwa ada dugaan sejumlah lembaga anti korupsi yang saat itu berkiprah di Aceh, diduga kuat gerakannya telah disusupi oleh orang-orang yang dekat dengan penguasa bahkan pelaku korupsi itu sendiri.
Selain itu, terdapat juga beberapa lembaga anti korupsi yang dulunya eksis, tetapi ditahun 2003 telah menampakkan gejala-gejala vakum dan menjadikan pelaku korupsi di Aceh seperti kehilangan musuh besarnya karena tidak ada lagi kekuatan penyeimbang untuk melakukan kontrol dan advokais terhadap kasus-kasus korupsi.
Melihat kondisi yang demikian tersebut, lahirlah ide untuk membentuk suatu lembaga anti korupsi, dimana prinsip kehati-hatian dan idealisme perjuangan dalam hal rekruimen anggota dan pengurus menjadi factor yang sangat penting.
Oleh karenanya atas inisiatif 6 (enam) orang aktifis yakni, Akhiruddin Mahjuddin, Bambang Antariksa, Hemma Marlenny, Muhammad Ibrahim, Keuchik H. Jailani Hasan Riseh dan Misran Nirto sepakat untuk mendirikan Gerakan Anti Korupsi Aceh (GERAK Aceh) dan tanggal yang disepakati bagi pendirian GERAK Aceh adalah 29 November 2003. Pada bulan Desember 2004, GERAK Aceh melakukan pengurusan pembuatan Akta Pendirian untuk memperjelas status hukum GERAK Aceh.