Fatih Sultan Mehmet, boğazın güvenliğini sağlamak amacıyla bir hisar yaptırmaya karar vermiştir. Hisarın yapımına başlamadan önce nezaketten Bizans İmparatoru Konstantin'e bir elçi gönderip, izin almak istemiştir. Ancak Konstantin bu durumdan hoşnut olmamış ve hisarın olduğu bölgenin sahibinin Avrupalılar olduğunu söyleyerek tehdit etmiştir. Fatih Sultan Mehmet ise Konstantin'in dediklerini umursamamış ve 1492 yılında Rumeli Hisarı'nın yapımına başlamıştır.
Hisarın her bir bölümü bir paşanın sorumluluğuna verilmiştir. Özellikle deniz tarafına düşen bölümünü Fatih Sultan Mehmet kontrol etmiştir. Denizden bakıldığı zaman sağ taraftaki kule Saruca Paşa, sol taraftaki kulenin yapımı ise Zağanos Paşa'ya verilmiştir. Kıyıda bulunan kulenin inşasında da görevlendirilmek üzere Halil Paşa getirilmiştir. Bundan dolayı burada bulunan her kule, denetimden sorumlu paşaların adlarını taşımaktadır. Yapımda kullanılan keresteler Karadeniz Ereğlisi ve İznik'ten getirilmiştir. Taşlar ile kireçler ise Anadolu'nun farkı yerlerden temin edilmiştir. Ayrıca çevredeki Bizans kalıntılarından ise devşirme parça taşlar alınmıştır. Söylenenlere göre Rumeli Hisar'ın yapımında yaklaşık olarak 300 usta, 800'e yakın işçi ve 200'e yakın arabacı, nakliyeci çalıştırılmıştır. Hisarın yapıldığı alan 60,000 metrekare alanı kapsamaktadır. Harçlarla birbirine bağlanan kısımları ise 57, 700 metreküpe ulaşmaktadır.
Rumeli Hisarı'nda paşaların yaptırdığı üç büyük kale ile 13 adet büyük küçük burç bulunmaktadır. Halil Paşa ve Saruca Paşa kuleleri zemin katları da dahil 9 katlıdır. İki kulenin de çapı 24 metreye yakındır. Zağanos Paşa kulesi ise tam tamına 8 katlıdır ve çağı 23 metredir.
1509 yılına kadar sağlam bir şekilde duran Rumeli Hisarı, büyük bir depremden dolayı ciddi hasarlar görmüş olsa da hemen onarılmıştır. 1746 yıllarında ise yangın çıkmış ve ahşap kısmı kullanılmayacak hale gelmiştir. III. Selim döneminde ise hisarın onarımı tekrardan yapılmaya başlanmıştır. Ancak hisarın kule kısımlarını örten ahşap külahlar yıkıldığı için, kalenin içleri hep ufak tefek ahşap evlerle dolmuştur. 1953 yılında dönemin Cumhurbaşkanı Celal Bayar, üç Türk mimarla anlaşmış ve Rumeli Hisarı onarılmıştır.