İlkokul yıllarını Ankara'da okuyarak geçiren İnalcık lise eğitimini Balıkesir Necati Bey Muallim Mektebinde almıştır.
Ankara Üniversitesi Dil ve Tarih-Coğrafya Fakültesine 1936 yılında girmiş ve Yeni Çağ Tarihi alanında yüksek öğrenim görmüştür.
Mezun olduktan sonra aynı Ankara Üniversitesinde kalmış ve asistan olarak görev yapmaya başlamıştır.
1942 yılında doktora tezini vermiş ve 1943 yılında da Büyük Ricat'e Osmanlı İmparatorluğu ve Kırım Hanlığı başlıklı teziyle Viyana'da doçent ünvanı almıştır.
Halil İnalcık daha sonra birçok üniversitede konuk profestör olarak dersler verdiği bilinmektedir.
Bunlardan bazıları Columbia, Princeton, Pennsylvania, Harvard üniversiteleridir.
1972 yılında Ankara Üniversitesinden emekli olan İnalcık, Osmanlı tarihi kürsüsü kurduğu Chicago Üniversitesinden de 1986 yılında emekli olarak ayrılmıştır.
İnalcık, akademik yaşamının devamında tarih bölümünü kurduğu Bilkent Üniversitesinde 23 yıl süresince yüksek lisans ve doktora öğrencileri için seminer dersleri vermiştir.