Korzystając z rozpadu Cesarstwa Bizantyjskiego , Kaloyan zdobył dawne terytoria bizantyjskie w Tracji.Początkowo próbował zapewnić pokojowy podział ziem z krzyżowcami (czyli „Latynosami”).Poprosił Innocentego III, aby uniemożliwił im atak na Bułgarię .Krzyżowcy chcieli jednak wprowadzić w życie swój traktat, który podzielił między nich terytoria bizantyjskie, w tym ziemie, do których rościł sobie Kaloyan.Kaloyan udzielił schronienia uchodźcom bizantyjskim i namówił ich do wzniecenia zamieszek w Tracji i Macedonii przeciwko Latynosom.Według relacji Roberta z Clari uchodźcy przyrzekli również, że wybiorą go na cesarza, jeśli najedzie Cesarstwo Łacińskie.Greccy mieszczanie Adrianopola (obecnie Edirne w Turcji) i pobliskich miast powstali przeciwko Latynosom na początku 1205 roku. Kaloyan obiecał, że wyśle ​​im posiłki przed Wielkanocą.Uznając współpracę Kaloyana z rebeliantami za niebezpieczny sojusz, cesarz Baldwin zdecydował się przeprowadzić kontratak i nakazał wycofanie swoich wojsk z Azji Mniejszej.Rozpoczął oblężenie Adrianopola, zanim zdążył zgromadzić wszystkie swoje wojska.Kaloyan pospieszył do miasta na czele armii liczącej ponad 14 000 wojowników bułgarskich, wołoskich i kumańskich.Udawany odwrót Kumanów wciągnął ciężką kawalerię krzyżowców w zasadzkę na bagnach na północ od Adrianopola, umożliwiając Kaloyanowi zadanie im miażdżącej porażki 14 kwietnia 1205 roku.Mimo wszystko walka jest zacięta i toczy się do późnego wieczora.Główna część armii łacińskiej zostaje wyeliminowana, rycerze pokonani, a ich cesarz Baldwin I zostaje wzięty do niewoli w Wielkim Tyrnowie, gdzie jest zamknięty na szczycie wieży twierdzy Carewiec.Wieść o klęsce rycerzy w bitwie pod Adrianopolem szybko rozeszła się po Europie.Bez wątpienia był to wielki szok dla ówczesnego świata, gdyż chwała niepokonanej armii rycerskiej była znana wszystkim, od łachmanów po bogatych.Usłyszenie o rycerzach, których sława rozeszła się daleko i szeroko, którzy zajęli jedno z największych wówczas miast, Konstantynopol, stolicę, której mury krążą pogłoski, że są nie do złamania, było druzgocące dla świata katolickiego.