Ali Koç, 1997 yılında Koç Holding bünyesinde yeni iş geliştirme koordinatörü olarak göreve başladı. 2000 yılında Bilgi Grubu Yürütme Komitesi'ne, 2002 yılında ise Bilgi Grubu'nun başkanlığına getirildi. 2006 ile 2010 yıllarında Kurumsal İletişim ve Bilgi Grubu başkanlığı görevini üstlendi. 2008 yılında Koç Holding Yönetim Kurulu'na dahil olan Koç, 2016'da Yönetim Kurulu başkan vekili olarak atandı.
Günümüzde Yapı Kredi Bankası, Ford Otosan, Koçtaş, Koç Bilgi ve Savunma Teknolojileri, Koç Sistem, Otokar, Setur, Otokoç gibi Koç Holding iştiraklerinde Yönetim Kurulu başkanı olarak görev yapan Ali Koç, TÜPRAŞ ve Opet gibi şirketlerde Yönetim Kurulu başkan vekili olarak da hizmet vermektedir. Ali Koç, ayrıca:
TÜSİAD'da Yönetim Kurulu başkan yardımcısı,
Ulusal Rekabet Araştırmaları Derneği'nde başkan,
Harvard Üniversitesi ile Bank of America'da Global Danışma Kurulu üyesi,
DEİK (Dış Ekonomik İlişkiler Konseyi)
Endeavor Etkin Girişimcilik Destekleme Derneği'nde de Yönetim Kurulu üyesi olarak görev yaptı.