Approfittando della disintegrazione dell'Impero bizantino , Kaloyan conquistò gli ex territori bizantini in Tracia.Inizialmente tentò di garantire una divisione pacifica delle terre con i crociati (o "latini").Chiese a Innocenzo III di impedire loro di attaccare la Bulgaria .Tuttavia, i crociati volevano attuare il loro trattato che divideva tra loro i territori bizantini, comprese le terre rivendicate da Kaloyan.Kaloyan diede rifugio ai profughi bizantini e li convinse a fomentare rivolte in Tracia e Macedonia contro i latini.I profughi, secondo il racconto di Roberto di Clari, si impegnarono anche a eleggerlo imperatore se avesse invaso l'Impero latino.I cittadini greci di Adrianopoli (ora Edirne in Turchia) e delle città vicine insorsero contro i latini all'inizio del 1205. Kaloyan promise che avrebbe inviato loro rinforzi prima di Pasqua.Considerando la cooperazione di Kaloyan con i ribelli un'alleanza pericolosa, l'imperatore Baldovino decise di lanciare un contrattacco e ordinò il ritiro delle sue truppe dall'Asia Minore.Assediò Adrianopoli prima che potesse radunare tutte le sue truppe.Kaloyan si precipitò in città a capo di un esercito di oltre 14.000 guerrieri bulgari, valacchi e cumani.Una finta ritirata dei Cumani attirò la pesante cavalleria dei crociati in un'imboscata nelle paludi a nord di Adrianopoli, consentendo a Kaloyan di infliggere loro una schiacciante sconfitta il 14 aprile 1205.Nonostante tutto, la battaglia è dura e combattuta fino a tarda sera.Il grosso dell'esercito latino viene eliminato, i cavalieri vengono sconfitti e il loro imperatore, Baldovino I, viene fatto prigioniero a Veliko Tarnovo, dove viene rinchiuso in cima a una torre della fortezza di Tsarevets.In tutta Europa si sparse rapidamente la voce della sconfitta dei cavalieri nella battaglia di Adrianopoli.Senza dubbio, fu un grande shock per il mondo dell'epoca, perché la gloria dell'invincibile esercito di cavalieri era nota a tutti, da quelli vestiti di stracci a quelli ricchi.Venire a sapere che i cavalieri, la cui fama viaggiava in lungo e in largo, che avevano preso una delle più grandi città dell'epoca, Costantinopoli, la capitale le cui mura si diceva fossero indistruttibili, fu devastante per il mondo cattolico.