Kaloyan profiteerde van het uiteenvallen van het Byzantijnse rijk en veroverde voormalige Byzantijnse gebieden in Thracië.Aanvankelijk probeerde hij een vreedzame verdeling van de landen met de kruisvaarders (of "Latijnen") veilig te stellen.Hij vroeg Innocentius III om te voorkomen dat ze Bulgarije zouden aanvallen.De kruisvaarders wilden echter hun verdrag uitvoeren dat de Byzantijnse gebieden onder hen verdeelde, inclusief de landen die Kaloyan claimde.Kaloyan bood onderdak aan Byzantijnse vluchtelingen en haalde hen over om in Thracië en Macedonië rellen tegen de Latijnen te veroorzaken.Volgens het verslag van Robert van Clari beloofden de vluchtelingen ook dat ze hem tot keizer zouden kiezen als hij het Latijnse rijk zou binnenvallen.De Griekse burgers van Adrianopel (nu Edirne in Turkije) en nabijgelegen steden kwamen begin 1205 in opstand tegen de Latijnen. Kaloyan beloofde dat hij hen vóór Pasen versterkingen zou sturen.Omdat Kaloyans samenwerking met de rebellen een gevaarlijke alliantie was, besloot keizer Baldwin een tegenaanval te lanceren en beval hij de terugtrekking van zijn troepen uit Klein-Azië.Hij belegerde Adrianopel voordat hij al zijn troepen kon verzamelen.Kaloyan haastte zich naar de stad aan het hoofd van een leger van meer dan 14.000 Bulgaarse, Vlachse en Cuman-krijgers.Een geveinsde terugtocht van de Cumanen lokte de zware cavalerie van de kruisvaarders in een hinderlaag in de moerassen ten noorden van Adrianopel, waardoor Kaloyan hen op 14 april 1205 een verpletterende nederlaag kon toebrengen.Ondanks alles is de strijd zwaar en wordt er tot laat in de avond gestreden.Het grootste deel van het Latijnse leger wordt uitgeschakeld, de ridders worden verslagen en hun keizer, Boudewijn I, wordt gevangengenomen in Veliko Tarnovo, waar hij wordt opgesloten op de top van een toren in het Tsarevets-fort.Het bericht verspreidde zich snel over Europa over de nederlaag van de ridders in de slag bij Adrianopel.Het was ongetwijfeld een grote schok voor de wereld in die tijd, vanwege het feit dat de glorie van het onverslaanbare ridderleger bij iedereen bekend was, van degenen in lompen tot degenen die rijk waren.Toen ze hoorden dat de ridders, wier roem wijd en zijd reikte, die een van de grootste steden van die tijd hadden ingenomen, Constantinopel, de hoofdstad waarvan de muren naar verluidt onbreekbaar waren, verwoestend was voor de katholieke wereld.