Verimli toprakları sayesinde tarih boyunca farklı kültürlerin ve inançların, dinlerin uğrak yeri oldu Mardin. Arkaik pagan inançlara güneşe tapan şemsiler tavusu azamı kutsallaştıran yezidiler ve erken hristiyanlık dönemine tanıklık etmiştir.
Mardin adını ,tarihte ilk kez 4. Yüzyılında Roma coğrafyası Marcellinus Maride ve Lorne kaleleri şeklinde geçmekte. İlk çağ döneminde Mardin’e dair pek bir şey bilinmemekte ama 640 yılında Araplar egemen olduğu sonrasında Hamdaniler ve Mervaniler egemen olmuştur.
Mardin’in adının nerden geldiği ile ilgili farkı söylemler bulunmakta. Bir rivayete göre MS 351’de Nusaybin yıkılınca Mardin’e sığınan Ermenilerin karşılaştıkları dirence karşı gösterdikleri cesaretten dolayı savaşçı yada şehit anlamına gelen Mardin kelimesinden, Süryani rivayetine göre ise çevrede çok sayıda kale bulunduğu içi Süryanice kaleler anlamına gelen “merdin” kelimesinden türetilmiştir. Bir başka söylence Bizans imparatorluğu Heraklius ‘un bir komutanın din adındaki İranlı bir keşişi öldürdükten sonra tam karşıya kale yaptırarak buraya din öldü anlamına gelen “matedin' adını verdiği ve şehrin adını bundan geldiğini iddia edilmektedir. Diğer bir söylenceye göre ise ; MÖ 4 yüzyılında Pers kralının Mardin adındaki oğlu hastalanır, tedavisinde hava değişikliğinin faydalı olacağı söylenir ve bir süre temiz havasıyla meşhur şu anki Mardin Kalesinde yaşaması uygun görülür çocuk iyileşir ve orada yaşamaya devam eder. Buraya onun adına Mardin denmiştir.
Hristiyanlığı ilk kabul eden halklar Süryaniler ermeniler bu bölgede münzevi hayatı yaşar, manastırlar bu bölgede yayılır. İlk Türk islam yapıları burada inşa edilir. Dervişler buradaki zaviyelere konaklar. Şehir yüksek avlu duvarlarının sınırlarının çizdiği dar sokaklardan abbaralardan kapılardan bir anda karşınıza çıkan çeşmelerden oluşur. Yüksek duvarların arkasında avlular, eyvanlar, odalar vardır ve avludaki sesler sokak sesine karışır; Arapça Türkçe Kürtçe Süryanice ….
12. Yüzyılın başında Kürt ,Ermeni,Yakubi Nasturi, Şemsi ve Yezidiler gibi birçok farklı kültürden insanların yaşadığı Mardin yeni bir kültüre İran üzerinden gelen Türkmenler sayesinde tanışır. Türkmen ailelerin büyüklerinden olan Artuklular yaklaşık üç asır boyunca Mardin’e egemen olmuştur. Musul- Halep arasında yapılan ticaretlerle Mardin en parlak dönemini yaşar. Bu dönemde Moğollar şehri iki kere kuşatır ama başarılı olamaz.
15 yüzyılında başka bir Türkmen ailesi Akkoyunlular ve sonrasında Karakoyunlular ve sonrasında Mardini yönetir. Bir yıl boyunca süren kuşatmadan sonra 1517’de Diyarbakır beylerbeyi Mehmet Paşa Mardin’i Osmanlı topraklarına katar Birinci dünya savaşında sırasında şehir herhangi bir yabancı işgaline uğramaz. 1920’de birkaç Fransız subayı şehre gelir umdukları desteği bulmayınca geri dönerler. Mardin savaştan sonra Türkiye Cumhuriyeti‘nin sınır şehri olur.