Mehmet Ali Yılmaz, 21 Ekim 1948 tarihinde Trabzon'un Of ilçesi Gülderen Köyü'nde dünyaya geldi.
Babası Mehmet ve annesi Fatma'dır. İlkokulu doğduğu köyde tamamladıktan sonra ailesiyle birlikte İstanbul'a taşındı.
Ortaokul eğitimini Kadıköy Kemal Atatürk Ortaokulu'nda, ardından lise eğitimini de Haydar Paşa Lisesi'nde tamamladı.
Üniversite eğitimini Yıldız Teknik Üniversitesi İnşaat Bölümü'nde tamamladıktan sonra inşaat mühendisi olarak iş hayatına adım attı.
Yılmaz, 1973 yılında 'TEK-ART' adlı inşaat şirketini kurarak inşaat sektörüne giriş yaptı.
1978 ve 1988 yılları arasında toplamda 10 kez Türkiye Vergi Rekortmeni oldu.
1979 yılında Türkiye İthalat İhracat Bankası'nın (Titibank - Impexbank) sahibi oldu ve bankacılık sektöründe de faaliyet gösterdi.
Yılmaz, 1983 ile 1989 yılları arasında Güneş gazetesinin sahibi olarak basın sektörüne adım attı.
1996 yılında Antalya Kemer'de Zigana Tatil Köyü'nü faaliyete geçirerek turizm sektöründe ye aldı.
1991 ile 1995 yılları arasında Demokratik Sol Parti (DYP) Trabzon milletvekili olarak görev yaptı.
Mehmet Ali Yılmaz, 49. ve 50. Dönem hükümetlerinde Spordan Sorumlu Devlet Bakanı olarak görev aldı.
Trabzonspor Kulübü Onursal Başkanı Yılmaz, 1982-2001 yılları arasında çeşitli dönemlerde Trabzonspor Kulübü Başkanlığı görevini üstlendi.
Mehmet Ali Yılmaz Basın Konseyi, Gazeteciler Cemiyeti, Türkiye Spor Yazarları Derneği, Mühendisler Odası ve Müteahhitler Sendikası gibi çeşitli kuruluşlarda üyelik yaptı..