Duke përfituar nga shpërbërja e Perandorisë Bizantine , Kaloyan pushtoi ish territoret bizantine në Traki.Fillimisht ai u përpoq të siguronte një ndarje paqësore të tokave me kryqtarët (ose "latinët").Ai i kërkoi Innocentit III që t'i pengonte ata të sulmonin Bullgarinë .Megjithatë, kryqtarët donin të zbatonin traktatin e tyre që ndante territoret bizantine mes tyre, duke përfshirë tokat që Kaloyan pretendonte.Kaloyan u dha strehë refugjatëve bizantinë dhe i bindi ata të nxisnin trazira në Traki dhe Maqedoni kundër latinëve.Refugjatët, sipas rrëfimit të Robert of Clari, u zotuan gjithashtu se do ta zgjidhnin atë perandor nëse ai pushtonte Perandorinë Latine.Burgerët grekë të Adrianopojës (tani Edrene në Turqi) dhe qyteteve përreth u ngritën kundër latinëve në fillim të vitit 1205. Kaloyan premtoi se do t'u dërgonte atyre përforcime përpara Pashkëve.Duke e konsideruar bashkëpunimin e Kaloyan me rebelët një aleancë të rrezikshme, perandori Baldwin vendosi të nisë një kundërsulm dhe urdhëroi tërheqjen e trupave të tij nga Azia e Vogël.Ai rrethoi Adrianopojën përpara se të mblidhte të gjitha trupat e tij.Kaloyan nxitoi në qytet në krye të një ushtrie prej më shumë se 14,000 luftëtarësh bullgarë, vllahë dhe kumanë.Një tërheqje e shtirur nga kumanët tërhoqi kalorësinë e rëndë të kryqtarëve në një pritë në kënetat në veri të Adrianopolit, duke i mundësuar Kaloyan që t'u shkaktonte një disfatë dërrmuese mbi ta më 14 prill 1205.Pavarësisht gjithçkaje, beteja është e vështirë dhe e luftuar deri vonë në mbrëmje.Pjesa kryesore e ushtrisë latine eliminohet, kalorësit mposhten dhe perandori i tyre Baldwin I kapet rob në Veliko Tarnovo, ku mbyllet në majë të një kulle në kalanë e Tsarevets.Fjala u përhap shpejt në Evropë për humbjen e kalorësve në betejën e Adrianopojës.Pa dyshim, ishte një tronditje e madhe për botën e asaj kohe, për faktin se lavdia e ushtrisë së pamposhtur të kalorësve ishte e njohur për të gjithë, nga ata me lecka e deri tek ata me pasuri.Dëgjimi se kalorësit, fama e të cilëve udhëtoi shumë, të cilët kishin marrë një nga qytetet më të mëdha të asaj kohe, Kostandinopojën, kryeqytetin, muret e të cilit u përfol se ishin të pathyeshme, ishte shkatërruese për botën katolike.