1995 Türkiye genel seçimlerinin ardından kurulan koalisyon hükümetinde tekrar başbakan olarak görevlendirildi. 1997-1999 yılları arasında da başbakan olarak görev yaptı.
2000-2002 yılları arasında DSP-MHP-ANAP koalisyonunda devlet bakanı ve başbakan yardımcısı olarak yer aldı. Partisi 2002 Türkiye genel seçimlerinde Meclis'e giremeyince istifa etti. 2007 Türkiye Genel Seçimleri'nde Rize'den bağımsız milletvekili olarak Meclis'e girdi.
15 Ocak 2009-2011 yılları arasında ANAP ve Doğru Yol Partisi'nin birleşmesi sonucu kurulan Demokrat Parti'de siyasi yaşamına devam eden Yılmaz, 2004 yılında Yüce Divan’da yargılandı. Cumhuriyet tarihinde Yüce Divan’da yargılanan ilk başbakan oldu.
2020 seçimlerinde bağımsız Rize Milletvekili olarak Meclis'e girdi.
Siyasi üslubu bilen bir adamdı. Tansu Çiller, dili sürçüp "bunlar iktidarsızdır" dediğinde gülmüştü. Siyasetçi seviyesinin kıraathaneye düşmediği zamanlarda yetişenlerdendi.
Allah rahmet eylesin
Niyeyse bi içim buruldu....ne iyi ne kötü bir şey söyleyemiyorum ama içim bi buruldu...zaten ölmüş şeytan alakasını kesmiş derler...başka ne denir ki...gittiği yerde huzur bulsundan öte....