1985'te Halkçı Parti (HP) ile Sosyal Demokrasi Partisi'nin (SODEP) birleşmesiyle kurulan Sosyal demokrat Halkçı Parti'nin (SHP) Merkez Karar ve Yönetim Kurulunda görev aldı. Partinin Haziran 1987'de yapılan 3. Olağanüstü Kongresi'nde de Parti Meclisine ve Merkez Yürütme Kurulu üyeliğine seçildi. 1987 genel seçimlerinde SHP listesinden İstanbul milletvekili seçildi. Parti içinde Deniz Baykal'la birlikte 'Yeni Sol' denen grupta yer aldı, bu dönemde yazdıklarıyla Anadolu Solu'nun teorisyeni olarak öne çıkarıldı. 25-26 Haziran 1988'de yapılan SHP II. Kurultayı'nda genel başkanlık yarışına girdiği Erdal İnönü'ye yenildi. 1991 genel seçimlerinde yine SHP listesinden İstanbul milletvekili seçildi.
1992’de Deniz Baykal ile birlikte SHP'den ayrılarak Cumhuriyet Halk Partisi’nin (CHP) yeniden oluşumunda önemli rol oynayan Cem, 1993 cumhurbaşkanlığı seçimine CHP adayı olarak katıldı. 7 Temmuz 1995’te 50. Hükümet'te Ercan Karakaş’tan boşalan Kültür Bakanlığı görevini üstlendi (24 Haziran 1995-5 Ekim 1995).
Zamanla Deniz Baykal'ın çekirdek kadrosundan uzaklaşan Cem, yine de beklenmedik bir kararla 1995 genel seçimleri öncesinde CHP'den istifa ederek Demokratik Sol Parti'ye (DSP) geçti; bu partiden Kayseri milletvekili seçildi. DSP TBMM Grup Yönetim Kurulu üyeliğine seçildi (1996). 30 Haziran 1997 tarihinde kurulan 55. Hükûmette Dışişleri Bakanlığı görevine atandı, bakanlık görevini 56. ve 57. hükûmetlerde de sürdürdü. Bakanlığı döneminde özellikle Avrupa Birliği (AB)-Türkiye ilişkilerine yoğunlaşan Cem, Türkiye'nin Aralık 1999'da AB adayı olmasında ve Yunanistan ile ilişkilerin düzeltilmesinde etkili rol oynadı.