Sekolah Menengah Kebangsaan Tuanku Abdul Rahman, Gemas mengambil nama sempena nama Yang Almarhum Tuanku Abdul Rahman Ibni Tuanku Muhammad. Nama asal sekolah ini ialah Tuanku Abdul Rahman English, Gemas.Pada tahun 1943 hingga 1948, sekolah ini ditadbir oleh pihak swasta dan mempunyai peringkat sekolah rendah dan menengah.
Ketika itu, tapak asal sekolah ini terletak di sebuah bukit berhampiran dengan Jalan Cantik, Jalan Damai, danJalan Molik, iaitu berdekatan dengan kawasan perumahan pengawal Keretapi TanahMelayu Malaysia Berhad (KTMB), Gemas.Pada tahun 1949, sekolah ini telah diambil alih oleh pihak kerajaan dandipindahkan ke bangunan barunya iaitu di belakang Kuil Hindu iaitu menghadap kePadang Keretapi Tanah Malaysia Berhad (KTMB), Berhad.

Upacara perasmian bangunan sekolah Almarhum Tuanku Abdul Rahman yang baru dibina disempurnakan oleh AlmarhumTuanku Abdul Rahman Ibni Tuanku Muhammad pada tahun 1949.  Encik V.M. Francis adalah pengetua sekolah ini yang pertama. Pada tahun 1952, sekolah ini telah dipindahkan ke bangunan baru iaitu di Jalan Tok Sulong di mana terletaknya Sekolah Rendah Kebangsaan Tuanku Abdul Rahman, Gemas yang ada sekarang. Sehingga tahun 1967, sekolah ini masih mempunyai gabungan sekolah rendah dan menengah.

Pada awal tahun 1968, bangunan khas untuk Sekolah Menengah Tuanku Abdul Rahman, Gemas siap dibina. Bangunan ini telah dibuka secara rasminya oleh Tan Sri Mohd. Khir Haji Johari pada hari Isnin bersamaan 7 Oktober 1968. Sebenarnya perancangan awal pembinaan sekolah ini adalah di atas BukitMasjid, Gemas tetapi memandangkan kos dan masa pembinaannya yang terhad, maka lokasinya beralih ke padang sekolah di mana letaknya Sekolah Menengah KebangsaanTuanku Abdul Rahman, Gemas sekarang.