Bizans İmparatorluğu'nun dağılmasından yararlanan Kaloyan, Trakya'daki eski Bizans topraklarını ele geçirdi.Başlangıçta toprakların haçlılarla (veya "Latinlerle") barışçıl bir şekilde paylaşılmasını sağlamaya çalıştı.Masum III'ten Bulgaristan'a saldırmalarını engellemesini istedi.Ancak Haçlılar, Kaloyan'ın hak iddia ettiği topraklar da dahil olmak üzere Bizans topraklarını aralarında paylaştıran anlaşmayı uygulamak istiyorlardı.Kaloyan, Bizanslı mültecilere barınak sağladı ve onları Trakya ve Makedonya'da Latinlere karşı isyan çıkarmaya ikna etti.Robert of Clari'nin anlatımına göre mülteciler, Latin İmparatorluğu'nu işgal etmesi halinde onu imparator seçeceklerine de söz verdiler.Edirne'nin (şimdi Türkiye'de Edirne) ve yakın kasabaların Rum kentlileri 1205'in başlarında Latinlere karşı ayaklandı. Kaloyan onlara Paskalya'dan önce takviye göndereceğine söz verdi.Kaloyan'ın isyancılarla işbirliğini tehlikeli bir ittifak olarak gören İmparator Baldwin, bir karşı saldırı başlatmaya karar verdi ve birliklerinin Küçük Asya'dan çekilmesini emretti.Tüm birliklerini toplayamadan Edirne'yi kuşattı.Kaloyan, 14.000'den fazla Bulgar, Ulah ve Kuman savaşçıdan oluşan bir ordunun başında aceleyle kasabaya doğru ilerledi.Kumanların sahte bir geri çekilmesi, haçlıların ağır süvarilerini Edirne'nin kuzeyindeki bataklıklarda pusuya düşürerek Kaloyan'ın 14 Nisan 1205'te onları ezici bir yenilgiye uğratmasını sağladı.Her şeye rağmen mücadele çetin geçiyor ve akşam geç saatlere kadar sürüyor.Latin ordusunun büyük bir kısmı ortadan kaldırılır, şövalyeler yenilgiye uğratılır ve imparatorları Baldwin I, Tsarevets kalesindeki bir kulenin tepesine kilitlendiği Veliko Tırnovo'da esir alınır.Edirne savaşında şövalyelerin yenilgisine ilişkin haber hızla Avrupa'ya yayıldı.Yenilmez şövalye ordusunun görkeminin paçavralar içindekilerden zenginlere kadar herkes tarafından biliniyor olması şüphesiz o dönemde dünya için büyük bir şoktu.Şöhreti uzak diyarlara yayılan, o zamanın en büyük şehirlerinden birini ele geçiren şövalyelerin, duvarları yıkılmaz olduğu söylenen başkent Konstantinopolis'in Katolik dünyası için yıkıcı olduğunu duyanlar.