Profitant de la désintégration de l' Empire byzantin , Kaloyan s'empare des anciens territoires byzantins de Thrace.Dans un premier temps, il tenta d'obtenir un partage pacifique des terres avec les croisés (ou « Latins »).Il demanda à Innocent III de les empêcher d'attaquer la Bulgarie .Cependant, les croisés voulaient mettre en œuvre leur traité qui partageait entre eux les territoires byzantins, y compris les terres revendiquées par Kaloyan.Kaloyan a hébergé des réfugiés byzantins et les a persuadés de déclencher des émeutes en Thrace et en Macédoine contre les Latins.Les réfugiés, selon le récit de Robert de Clari, se sont également engagés à l'élire empereur s'il envahissait l'Empire latin.Les bourgeois grecs d'Andrinople (aujourd'hui Edirne en Turquie) et des villes voisines se soulevèrent contre les Latins au début de 1205. Kaloyan promit qu'il leur enverrait des renforts avant Pâques.Considérant la coopération de Kaloyan avec les rebelles comme une alliance dangereuse, l'empereur Baldwin décide de lancer une contre-attaque et ordonne le retrait de ses troupes d'Asie Mineure.Il assiégea Andrinople avant de pouvoir rassembler toutes ses troupes.Kaloyan se précipita vers la ville à la tête d'une armée de plus de 14 000 guerriers bulgares, valaques et coumans.Une feinte retraite des Coumans entraîna la cavalerie lourde des croisés dans une embuscade dans les marais au nord d'Andrinople, permettant à Kaloyan de leur infliger une défaite écrasante le 14 avril 1205.Malgré tout, la bataille est rude et se déroule jusque tard dans la soirée.L'essentiel de l'armée latine est éliminé, les chevaliers sont vaincus et leur empereur, Baudouin Ier, est fait prisonnier à Veliko Tarnovo, où il est enfermé au sommet d'une tour de la forteresse de Tsarevets.La nouvelle de la défaite des chevaliers à la bataille d'Andrinople se répandit rapidement dans toute l'Europe.Sans aucun doute, ce fut un grand choc pour le monde de l’époque, car la gloire de l’armée invincible des chevaliers était connue de tous, de ceux en haillons à ceux qui étaient riches.Apprendre que les chevaliers, dont la renommée a fait le tour du monde, qui avaient pris l'une des plus grandes villes de l'époque, Constantinople, la capitale dont les murs étaient réputés incassables, a été dévastateur pour le monde catholique.