Mengambil kesempatan daripada perpecahan Empayar Byzantine , Kaloyan menawan bekas wilayah Byzantine di Thrace.Pada mulanya dia cuba untuk mengamankan pembahagian tanah dengan tentera salib (atau "Latin").Dia meminta Innocent III menghalang mereka daripada menyerang Bulgaria .Walau bagaimanapun, tentera salib ingin melaksanakan perjanjian mereka yang membahagikan wilayah Byzantine antara mereka, termasuk tanah yang dituntut Kaloyan.Kaloyan memberi perlindungan kepada pelarian Byzantine dan memujuk mereka untuk mencetuskan rusuhan di Thrace dan Macedonia menentang orang Latin.Pelarian itu, menurut laporan Robert of Clari, juga berjanji akan memilihnya sebagai maharaja jika dia menyerang Empayar Latin.Burger Yunani Adrianople (kini Edirne di Turki) dan bandar-bandar berdekatan bangkit menentang orang Latin pada awal 1205. Kaloyan berjanji bahawa dia akan menghantar bala bantuan kepada mereka sebelum Paskah.Memandangkan kerjasama Kaloyan dengan pemberontak sebagai pakatan berbahaya, Maharaja Baldwin memutuskan untuk melancarkan serangan balas dan mengarahkan pengunduran tenteranya dari Asia Kecil.Dia mengepung Adrianople sebelum dia dapat mengumpulkan semua tenteranya.Kaloyan tergesa-gesa ke bandar itu dengan mengetuai tentera lebih daripada 14,000 pahlawan Bulgaria, Vlach dan Cuman.Pengunduran pura-pura oleh Cumans telah menarik pasukan berkuda besar tentera salib ke dalam serangan hendap di paya di utara Adrianople, membolehkan Kaloyan menyebabkan kekalahan teruk kepada mereka pada 14 April 1205.Di sebalik segala-galanya, pertempuran itu sukar dan bertempur sehingga lewat petang.Bahagian utama tentera Latin dihapuskan, kesatria dikalahkan dan maharaja mereka, Baldwin I, telah ditawan di Veliko Tarnovo, di mana dia dikunci di puncak menara di kubu Tsarevets.Berita dengan cepat tersebar di seluruh Eropah tentang kekalahan kesatria dalam pertempuran Adrianople.Tidak dinafikan, ia adalah satu kejutan yang hebat bagi dunia pada masa itu, kerana fakta bahawa kegemilangan tentera kesatria yang tidak dapat dikalahkan diketahui oleh semua orang daripada mereka yang berpakaian buruk kepada mereka yang kaya.Mendengar bahawa kesatria, yang kemasyhurannya mengembara jauh dan luas, yang telah menakluki salah satu bandar terbesar pada masa itu, Constantinople, ibu kota yang dindingnya dikhabarkan tidak dapat dipecahkan, telah menghancurkan dunia Katolik.