Profitând de dezintegrarea Imperiului Bizantin , Kaloyan a capturat fostele teritorii bizantine din Tracia.Inițial a încercat să asigure o împărțire pașnică a pământurilor cu cruciați (sau „latini”).El i-a cerut lui Inocenţiu al III-lea să-i împiedice să atace Bulgaria .Cu toate acestea, cruciații au vrut să pună în aplicare tratatul lor care împărțea teritoriile bizantine între ei, inclusiv pământurile pe care le revendica Kaloyan.Kaloyan a dat adăpost refugiaților bizantini și i-a convins să provoace revolte în Tracia și Macedonia împotriva latinilor.Refugiații, conform relatării lui Robert de Clari, au promis de asemenea că îl vor alege împărat dacă va invada Imperiul Latin.Burgerii greci din Adrianopol (acum Edirne în Turcia) și orașele din apropiere s-au ridicat împotriva latinilor la începutul anului 1205. Kaloyan le-a promis că le va trimite întăriri înainte de Paște.Considerând cooperarea lui Kaloyan cu rebelii o alianță periculoasă, împăratul Baldwin a decis să lanseze un contraatac și a ordonat retragerea trupelor sale din Asia Mică.A asediat Adrianopolul înainte de a-și putea aduna toate trupele.Kaloyan s-a grăbit în oraș, în fruntea unei armate de peste 14.000 de războinici bulgari, vlahi și cumani.O retragere prefăcută a cumanii a atras cavaleria grea a cruciaților într-o ambuscadă în mlaștinile de la nord de Adrianopol, permițându-i lui Kaloyan să le înfrângă zdrobitoare pe 14 aprilie 1205.În ciuda tuturor, bătălia este grea și dusă până seara târziu.Partea principală a armatei latine este eliminată, cavalerii sunt înfrânți și împăratul lor, Baldwin I, este luat prizonier la Veliko Tarnovo, unde este închis în vârful unui turn din cetatea Tsarevets.Vestea s-a răspândit rapid în toată Europa despre înfrângerea cavalerilor în bătălia de la Adrianopol.Fără îndoială, a fost un mare șoc pentru lumea din acea vreme, datorită faptului că gloria armatei de cavaleri de neînvins era cunoscută de toată lumea, de la cei în zdrențe până la cei în bogății.Auzind că cavalerii, a căror faimă a călătorit în lung și-n lat, care luaseră unul dintre cele mai mari orașe la acea vreme, Constantinopolul, capitala ale cărei ziduri se zvonește că nu sunt sparte, a fost devastatoare pentru lumea catolică.