Sinasamantala ang pagkakawatak-watak ng Byzantine Empire , nakuha ni Kaloyan ang mga dating teritoryo ng Byzantine sa Thrace.Sa una ay sinubukan niyang magkaroon ng mapayapang paghahati ng mga lupain sa mga crusaders (o "Latins").Hiniling niya kay Innocent III na pigilan sila sa pagsalakay sa Bulgaria .Gayunpaman, nais ng mga crusaders na ipatupad ang kanilang kasunduan na naghati sa mga teritoryo ng Byzantine sa pagitan nila, kabilang ang mga lupain na inaangkin ni Kaloyan.Si Kaloyan ay nagbigay ng kanlungan sa mga Byzantine refugee at hinikayat sila na pukawin ang mga kaguluhan sa Thrace at Macedonia laban sa mga Latin.Ang mga refugee, ayon sa salaysay ni Robert ng Clari, ay nangako rin na ihahalal nila siya bilang emperador kung sasalakayin niya ang Latin Empire.Ang mga Greek burghers ng Adrianople (ngayon ay Edirne sa Turkey) at mga kalapit na bayan ay tumindig laban sa mga Latin noong unang bahagi ng 1205. Nangako si Kaloyan na padadalhan niya sila ng mga reinforcement bago ang Pasko ng Pagkabuhay.Isinasaalang-alang ang pakikipagtulungan ni Kaloyan sa mga rebelde na isang mapanganib na alyansa, nagpasya si Emperador Baldwin na maglunsad ng kontra-atake at iniutos ang pag-alis ng kanyang mga tropa mula sa Asia Minor.Kinubkob niya si Adrianople bago niya matipon ang lahat ng kanyang mga tropa.Nagmamadaling pumunta si Kaloyan sa bayan sa pangunguna ng isang hukbo ng mahigit 14,000 mandirigmang Bulgarian, Vlach at Cuman.Isang pakunwaring pag-atras ng Cumans ang nagbunsod sa mabibigat na kabalyero ng mga krusada sa isang ambus sa latian sa hilaga ng Adrianople, na nagbigay-daan sa Kaloyan na magdulot ng matinding pagkatalo sa kanila noong 14 Abril 1205.Sa kabila ng lahat, mahirap ang labanan at lumaban hanggang hating-gabi.Ang pangunahing bahagi ng hukbo ng Latin ay tinanggal, ang mga kabalyero ay natalo at ang kanilang emperador, si Baldwin I, ay binihag sa Veliko Tarnovo, kung saan siya ay ikinulong sa tuktok ng isang tore sa kuta ng Tsarevets.Mabilis na kumalat ang balita sa buong Europa tungkol sa pagkatalo ng mga kabalyero sa labanan sa Adrianople.Walang alinlangan, ito ay isang malaking pagkabigla para sa mundo sa oras na iyon, dahil sa katotohanan na ang kaluwalhatian ng hindi matatalo na hukbong kabalyero ay kilala ng lahat mula sa mga nakasuot ng basahan hanggang sa mga mayayaman.Nang marinig na ang mga kabalyero, na ang katanyagan ay naglakbay sa malayo at malawak, na sumakop sa isa sa pinakamalaking lungsod noong panahong iyon, ang Constantinople, ang kabisera na ang mga pader ay alingawngaw na hindi mababasag, ay nagwawasak para sa mundo ng Katoliko.