Memanfaatkan disintegrasi Kekaisaran Bizantium , Kaloyan merebut bekas wilayah Bizantium di Thrace.Awalnya dia berusaha untuk mengamankan pembagian wilayah secara damai dengan tentara salib (atau "Latin").Dia meminta Innocent III untuk mencegah mereka menyerang Bulgaria .Namun, tentara salib ingin melaksanakan perjanjian mereka yang membagi wilayah Bizantium di antara mereka, termasuk wilayah yang diklaim Kaloyan.Kaloyan memberikan perlindungan kepada pengungsi Bizantium dan membujuk mereka untuk mengobarkan kerusuhan di Thrace dan Makedonia melawan orang Latin.Para pengungsi, menurut catatan Robert dari Clari, juga berjanji akan memilihnya sebagai kaisar jika dia menginvasi Kekaisaran Latin.Penduduk kota Yunani di Adrianople (sekarang Edirne di Turki) dan kota-kota sekitarnya bangkit melawan orang Latin pada awal tahun 1205. Kaloyan berjanji bahwa dia akan mengirim mereka bala bantuan sebelum Paskah.Mengingat kerja sama Kaloyan dengan pemberontak merupakan aliansi yang berbahaya, Kaisar Baldwin memutuskan untuk melancarkan serangan balik dan memerintahkan penarikan pasukannya dari Asia Kecil.Dia mengepung Adrianopel sebelum dia bisa mengerahkan seluruh pasukannya.Kaloyan bergegas ke kota dengan memimpin pasukan lebih dari 14.000 prajurit Bulgaria, Vlach , dan Cuman.Pasukan Cuman yang berpura-pura mundur menarik kavaleri berat tentara salib untuk melakukan penyergapan di rawa-rawa di utara Adrianople, sehingga Kaloyan dapat menimbulkan kekalahan telak terhadap mereka pada tanggal 14 April 1205.Terlepas dari segalanya, pertempuran itu sulit dan berlangsung hingga larut malam.Bagian utama dari tentara Latin dihilangkan, para ksatria dikalahkan dan kaisar mereka, Baldwin I, ditawan di Veliko Tarnovo, di mana dia dikurung di puncak menara di benteng Tsarevets.Berita dengan cepat menyebar ke seluruh Eropa tentang kekalahan para ksatria dalam pertempuran Adrianople.Tidak diragukan lagi, ini merupakan kejutan besar bagi dunia pada saat itu, karena fakta bahwa kejayaan pasukan ksatria yang tak terkalahkan diketahui oleh semua orang mulai dari mereka yang compang-camping hingga mereka yang kaya.Mendengar bahwa para ksatria, yang ketenarannya menyebar jauh dan luas, yang telah merebut salah satu kota terbesar pada saat itu, Konstantinopel, ibu kota yang temboknya dikabarkan tidak bisa ditembus, sangat menghancurkan dunia Katolik.