Bugünkü Erzurum, Karasu (Fırat) Nehri'nin geçtiği ovanın güneydoğusunda, Palandöken Dağları'nın kuzey eteklerinde kurulmuştur. Çünkü burası, bölgeler arası geçişi sağlayan yolların geçtiği, yaşam için gerekli olan su kaynakları ve tahıl üretimine elverişli ovalarıyla eskiden beri insanların yerleştiği bir bölge olmuştur.Şehir civarındaki yerleşim merkezlerinin tarihini MÖ. 4000’lere kadar uzanmaktadır. Pulur, Tufanç, Sos ve Cinis gibi höyüklerden elde edilen zengin arkeolojik buluntula bölgede Hattiler, Hititler, Hurriler ve Urartular; daha sonra ise Kimmerler, Saka (İskit) Türkleri, Medler, Persler, Makedonyalı İskender, Selevkoslar, Partlar, Romalılar, Sasaniler, Araplar, Gürcüler, Saltuklular, Selçuklular, Moğollar, İlhanlılar, Karakoyunlular, Timurlular, Akkoyunlular, Safeviler ve Osmanlılar hakim olduğunu göstermektedir.
Dede Korkut kitabında Karun-ili ile Erzurum'u kastettikleri belirtilmektedir. Ayrıca Vilayet Nizamnamesi'ne göre Anadolu'da kurulan ilk vilayet Erzurum’dur.
Mustafa Kemal Paşa, 3. Ordu Müfettişi olarak Erzurum'a geldiğinde (3 Temmuz 1919) bölgedeki vatanseverleri bir araya getirerek Erzurum Kongresi 23 Temmuz 1919'da gerçekleşti ve başkanlığına Mustafa Kemal Paşa seçildi. Millet meclisi gibi hareket eden kongre, aldığı kararları uygulaması için “Temsil Heyeti” oluşturdu ve Erzurum’da kurulan Temsil Heyeti, Türkiye Büyük Millet Meclisi’nin 23 Nisan 1920’deki açılışına kadar, Milli Mücadele hareketini idare etmiş ve ardından görevini TBMM’ye devretmiştir.