SMA Negeri 31 Jakarta didirikan pada tahun 1978 di atas lahan + 8120 m2 yang merupakan milik Pemerintah Daerah Khusus Ibukota Jakarta, terletak di Jalan Kayumanis Timur No. 17, Kelurahan Utan Kayu Selatan, Kecamatan Matraman, Wilayah Jakarta Timur. Kepala SMA Negeri 31 yang pertama dipimpin oleh Drs. R. Pasaribu sampai dengan tahun 1981.
SMA Negeri 31 adalah pecahan dari SMA Negeri 5 menjadi SMA Negeri 22 dan SMA Negeri 31. Gurunya sebagian ada yang dari SMA Negeri 22 dan SMA Negeri 31, sedangkan muridnya murni dari penerimaan murid baru.
Selanjutnya pada tahun 1981 – 1983 SMA Negeri 31 dipimpin oleh Drs. Subroto, tahun 1983 – 1987 dipimpin oleh Dra. Retty Surjanah. Pada saat inilah nama dari SMA Negeri 31 melambung tinggi keseluruh pelosok nusantara, dikarenakan beberapa prestasinya yang diraih oleh SMA Negeri 31 sangat memuaskan yaitu, lulusan SMA Negeri 31 yang diterima di Perguruan Tinggi Negeri (PTN) hamper mencapai 95 %.
Seluruh kegiatan ektrakurikuler seperti PMR, Pramuka selalu membawa nama baik Provinsi DKI Jakarta. Kemudian pada tahun 1987 – 1992 SMA Negeri 31 dipimpin oleh Drs. H. Maksum Habibi, tahun 1992 – 1994 dipimpin oleh Drs. B. Manurung, tahun 1994 – 1997 dipimpin oleh Drs. Sujono Kuslan, pada saat inilah gedung SMA Negeri 31 direnovasi total oleh Pemerintah DKI Jakarta. Seluruh proses KBM sementara menumpang di SDN Kebon Manggis Matraman Jakarta Timur. Kemudian tahun 1997 – 2000 SMA Negeri 31 dipimpin oleh Drs. P. Parman AS. P, tahun 2000 – 2006 Dra. Hj. Sutinah Dwiastuti, M.Sc. tahun 2006 -sekarang SMA Negeri 31 dipimpin oleh Drs. H. Asmuni Hasan.
SMA Negeri 31 Jakarta cukup terkenal di DKI Jakarta karena aktivitas kegiatannya, baik dibidang intrakulikuler maupun ekstrakurikuler cukup memuaskan dan dikenal oleh masyarakat. Prestasi lain yang telah dicapai oleh SMA Negeri 31 Jakarta untuk jurusan bahasa SMA Negeri 31 mendapat kesempatan rangking III di DKI Jakarta dan hampir setiap tahunnya mengirimkan tiga orang siswa ke Negara Jerman.
SMA Negeri 31 mempunyai 33 kelas belajar dengan jumlah murid 1324 orang, 125 guru dan karyawan, 65 guru honor, 45 guru tetap. Saat ini SMA Negeri 31 terus berbenah agar bisa kembali menjadi SMA unggulan seperti tahun – tahun awal berdirinya.
