Rumah usang ini adalah legasi kewujudan sebuah pusat pendidikan tertua di daerah Padang Terap. Ia dibina oleh Tuan Guru Haji Mad Nor sekitar tahun 1930. Tuan Guru Haji Mad Nor mula belajar di Patani selama lapan tahun sebelum menyambung pelajarannya di Mekah selama tiga tahun.
Rumah usang ini adalah tinggalan Tuan Haji Mad Nor yang membuka pondok pengajian kitab kepada anak-anak muda dan orang tua yang berminat untuk belajar pada sesi malam. Pada siang hari Tuan Guru Haji Mad Nor menjadi guru al-Quran di Sekolah Kebangsaan Padang Terap, sebagai guru agama pada sesi petang.
Tuan guru Haji Mad Nor meninggal dunia pada usianya 75 tahun pada tahun 1950. Operasi pondok diteruskan oleh murid-murid Tuan Guru Haji Mad Nor seperti Haji Yaakob bin Jasin, Haji Wahab Jusoh dan beberapa orang lain yang mengajar mengaji al-Quran.
Kemuncak pondok ini beroperasi sehingga 30 buah pondok didirikan di sekitar rumah Tok Guru di Taban. Jumlah pelajarnya dijangka dalam 100 orang selain berguru di Pondok Taban, mereka juga belajar di Sekolah Kebangsaan Padang Terap pada siang harinya.
Rumah ini kini didiami Tuan Guru Haji Abdul Rahman anak bungsu kepada Haji Mad Nor sebagai tinggalan warisan sebuah pembangunan pendidikan anak bangsa di daerah Padang Terap.