Ved at drage fordel af opløsningen af ​​det byzantinske imperium erobrede Kaloyan tidligere byzantinske territorier i Thrakien.Til at begynde med forsøgte han at sikre en fredelig opdeling af landene med korsfarerne (eller "latinerne").Han bad Innocentius III om at forhindre dem i at angribe Bulgarien .Korsfarerne ønskede dog at gennemføre deres traktat, som delte de byzantinske områder mellem sig, inklusive landområder, som Kaloyan gjorde krav på.Kaloyan gav byzantinske flygtninge husly og overtalte dem til at sætte gang i optøjer i Thrakien og Makedonien mod latinerne.Flygtningene, ifølge Robert af Claris beretning, lovede også, at de ville vælge ham til kejser, hvis han invaderede det latinske imperium.De græske borgere i Adrianopel (nu Edirne i Tyrkiet) og nærliggende byer rejste sig mod latinerne i begyndelsen af ​​1205. Kaloyan lovede, at han ville sende dem forstærkninger inden påske.I betragtning af at Kaloyans samarbejde med oprørerne var en farlig alliance, besluttede kejser Baldwin at indlede et modangreb og beordrede tilbagetrækningen af ​​sine tropper fra Lilleasien.Han belejrede Adrianopel, før han kunne mønstre alle sine tropper.Kaloyan skyndte sig til byen i spidsen for en hær på mere end 14.000 bulgarske, Vlach og Cuman-krigere.Et foregivet tilbagetog af Cumanerne trak korsfarernes tunge kavaleri i et baghold i marsken nord for Adrianopel, hvilket gjorde det muligt for Kaloyan at påføre dem et knusende nederlag den 14. april 1205.Trods alt er kampen hård og udkæmpet til langt ud på aftenen.Hovedparten af ​​den latinske hær elimineres, ridderne besejres og deres kejser, Baldwin I, tages til fange i Veliko Tarnovo, hvor han er låst inde i toppen af ​​et tårn i Tsarevets fæstning.Rygtet spredte sig hurtigt rundt i Europa om riddernes nederlag i slaget ved Adrianopel.Uden tvivl var det et stort chok for verden på det tidspunkt, på grund af det faktum, at herligheden af ​​den ubesejrede ridderhær var kendt af alle fra dem i klude til dem i rigdom.At høre, at ridderne, hvis berømmelse rejste vidt og bredt, som havde indtaget en af ​​de største byer på det tidspunkt, var Konstantinopel, hovedstaden, hvis mure var ubrydelige, ødelæggende for den katolske verden.