Binali Yıldırım 20 Aralık 1955 tarihinde Dursun Bey ile Bahar Hanım'ın yedi çocuğundan ikincisi olarak Erzincan'ın Refahiye ilçesine bağlı Kayı Köyü'nde doğdu. Arapça'da 'Ali'nin oğlu' anlamına gelen ismini ailesinin Alevi komşuları verdi. 16 yaşındayken 38 yaşındaki annesini kaybetti.
Orta öğrenimini 1970 yılında Piri Reis Ortaokulu'nda, lise öğrenimini 1973 yılında Kasımpaşa Lisesi'nde tamamladıktan sonra İstanbul Teknik Üniversitesi Gemi İnşaatı ve Deniz Bilimleri Fakültesi'nden mezun oldu ve aynı bölümde yüksek lisans yaptı. Akabinde 1978 ve 1993 yılları arasında Türkiye Gemi Genel Müdürlüğü ve Camialtı Tersanesi'nde çeşitli kademelerde yöneticilik yaptı. 1990 ve 1991 yılları arasında İsveç'te bulunan Uluslararası Denizcilik Örgütü'ne (IMO) ait Dünya Denizcilik Üniversitesi'nde WMU) 'denizde can ve mal güvenliği yönetimi' konusunda ihtisas eğitimi alan Yıldırım, bu eğitim sırasında toplam 6 ay İskandinavya ülkeleri ve Avrupa'da çeşitli ülke limanlarında denizcilik idaresi uzmanları ile birlikte incelemelerde bulundu.
Mezun olmasının ardından Binali Yıldırım, 1994 ve 2000 yılları arasında İstanbul Deniz Otobüsleri (İDO) Genel Müdürlüğü görevini sürdürdü. Bu görevi sırasında İstanbul'da toplu taşımacılığın denize kaydırılması yönünde önemli projelere imza attı. Başta İstanbul-Yalova ve Bandırma hatlarının açılarak, Adnan Menderes ve Turgut Özal hızlı feribotlarının sefere konulması olmak üzere İstanbul'a kazandırılan toplam 29 iskele/terminal, 22 deniz otobüsü ve 4 feribotla İDO, önemli bir deniz taşımacılığı kurumu oldu. 1999 yılında deniz toplu taşımacılığı ve turizme katkılarından dolayı uluslararası 'Skal Kulübü' tarafından verilen kalite ödülüne layık görüldü. Recep Tayyip Erdoğan'dan sonraki Belediye Başkanı Ali Müfit Gürtuna tarafından 2000 yılında görevden alındı.