Искористивши распад Византијског царства , Калојан је заузео некадашње византијске територије у Тракији.У почетку је покушао да обезбеди мирну поделу земље са крсташима (или "Латинима").Тражио је од Иноћентија ИИИ да их спречи да нападну Бугарску .Међутим, крсташи су желели да спроведу свој уговор који је поделио византијске територије између њих, укључујући земље на које је Калојан полагао право.Калојан је дао уточиште византијским избеглицама и наговорио их да подигну немире у Тракији и Македонији против Латина.Избеглице су, према Роберту од Кларија, такође обећале да ће га изабрати за цара ако нападне Латинско царство.Грчки грађани Адријанопоља (сада Једрене у Турској) и оближњих градова устали су против Латина почетком 1205. Калојан је обећао да ће им послати појачање пре Ускрса.Сматрајући Калојанову сарадњу са побуњеницима опасним савезом, цар Балдуин је одлучио да крене у контранапад и наредио је повлачење својих трупа из Мале Азије.Он је опседао Адрианопољ пре него што је успео да прикупи све своје трупе.Калојан је похитао у град на челу са војском од преко 14.000 бугарских, влашких и куманских ратника.Претворено повлачење Кумана увукло је тешку коњицу крсташа у заседу у мочварама северно од Адријанопоља, што је омогућило Калојану да им нанесе поразан пораз 14. априла 1205.Упркос свему, битка је тешка и вођена до касно увече.Главни део латинске војске је елиминисан, витезови су поражени, а њихов цар Балдуин И бива заробљен у Великом Трнову, где је закључан на врху куле у тврђави Царевец.Европом се брзо пронео глас о поразу витезова у бици код Адријанопоља.Без сумње, то је био велики шок за тадашњи свет, јер је слава непобедиве витешке војске била позната свима, од оних у дроњцима до оних у богатству.Чувши да су витезови, чија је слава далеко путовала, који су заузели један од највећих градова у то време, Константинопољ, престоница о чијим се зидовима причало да су несаломиви, био погубан за католички свет.