1977 yılında Millî Selamet Partisi'nden Sivas Milletvekili seçildi. Parlamento çalışmalarında KİT Komisyonu üyeliği yaptı ve Avrupa Konseyi Parlamenter Meclisi'nde Türkiye'yi temsil etti. 1978’de parti genel kurulu üyeliğine seçildi.
1980 askeri müdahalesinden sonra 1987 referandumuna kadar aktif siyasetten uzak kaldı. 1980'lerde bir müddet özel müşavirlik yaptı ve daha sonra bir tekstil firmasında idârî görevlerde bulundu.
Referandumla birlikte politik hayata geri döndü ve Refah Partisi genel idare kurulu üyeliğine seçildi. 1989 yılında Refah Partisi'nden Sivas belediye başkanlığına seçildi. Bir dönem belediye başkanlığı yaptıktan sonra 1994 mahalli idareler seçimlerinde aynı ilde yeniden Refah Partisi'nden belediye başkanı seçildi.
1993 Sivas Katliamı'nda saldırgan kitle Madımak Oteli'nin önündeyken yanlarına gittiğinde, 'Mücahit Temel' sloganlarıyla karşılandığı, kalabalığa hitaben 'Bir defa şöyle bir fatiha okuyalım. Şunların ruhuna el fatiha diyelim' diye konuştuğu ve 'Gazanız mübarek olsun' dediği basında çıkan haberlerde yer aldı. Karamollaoğlu, bu sözlerle ilgili yıllar sonra verdiği bir röportajda 'Hiç hatırlamıyorum. Bir kalabalığı nasıl teskin edersiniz? Onların gönlünü alarak... Orada, 'Oturun sakinleşin, bir Fatiha okuyun' dememin, demememin bir önemi yok ki. Ters bir konuşma yapsam, emniyet müdürü bana müdahale etmez mi? Sonuçta kalabalık dağıldı. O halk orada tahrik olsaydı, yürürdü. Sadece ben çıkıp önlemeye çalıştım. Hedef bendim. Eğer başka biri belediye başkanı olsaydı, olayları önlemek için gösterdiği çabadan dolayı bir de madalya takarlardı.' dedi. Katliamın bir numaralı sanığı olan ve 17 yıldır firarda olan dönemin belediye meclis üyesi Cafer Erçakmak'ın hiçbir suçu olmadığını savunan Karamollaoğlu, katliamda yaşamını yitirenlerin yanarak değil, dumandan boğularak öldüğünü iddia etti. Karamollaoğlu, Madımak Oteli'nin utanç müzesine dönüştürülmesinin Sivas'a en büyük ihanet olacağını ve Türkiye'nin çok büyük acılar yaşadığını ama hiçbirinin bunun kadar istismar edilmediğini ileri sürdü.
1995 Genel Seçimlerinde Refah Partisi'nde Sivas Milletvekili olarak parlamentoya girdi. Bu dönemde NATO Parlamenter Asamblesi Üyesi olarak görev yaptı. Aynı dönemde Refah Partisi grup başkanvekilliğine seçildi. Bu görevini Refah Partisi'nin kapatılmasına kadar sürdürdü.
Refah Partisi’nin Anayasa Mahkemesi tarafından kapatılmasından sonra Fazilet Partisi'ne katıldı. 1999 seçimlerinde Sivas’tan yeniden milletvekili seçildi. Bu yasama döneminde NATO Parlamenter Asamblesi Üyeliği devam etti. Mayıs 2000 tarihinde yapılan Saadet Partisi kongresinde genel idare kurulu üyeliğine seçildi ve dış ilişkilerden sorumlu genel başkan yardımcılığı görevine getirildi.
Yüksek İstişare Kurulu tarafından 24 Ekim 2016 tarihinde Saadet Partisi genel başkan adaylığına seçildi. 30 Ekim 2016 tarihinde gerçekleştirilen Saadet Partisi 6. Olağan Kongresi'nde 891 delegenin 871'inin oyunu alarak Saadet Partisi Genel Başkanlığı görevine seçildi. Karamollaoğlu, 3 Kasım 2019'da gerçekleştirilen Saadet Partisi 7. Olağan Kongresi'nde yeniden genel başkan seçildi.