Lợi dụng sự tan rã của Đế chế Byzantine , Kaloyan đã chiếm được các lãnh thổ cũ của Byzantine ở Thrace.Ban đầu, ông cố gắng đảm bảo sự phân chia đất đai một cách hòa bình với quân thập tự chinh (hay "người Latinh").Anh ta yêu cầu Innocent III ngăn chặn họ tấn công Bulgaria .Tuy nhiên, quân thập tự chinh muốn thực hiện hiệp ước chia cắt lãnh thổ Byzantine giữa họ, bao gồm cả những vùng đất mà Kaloyan tuyên bố chủ quyền.Kaloyan cung cấp nơi trú ẩn cho những người tị nạn Byzantine và thuyết phục họ khuấy động bạo loạn ở Thrace và Macedonia chống lại người Latinh.Những người tị nạn, theo lời kể của Robert of Clari, cũng cam kết rằng họ sẽ bầu ông làm hoàng đế nếu ông xâm lược Đế chế Latinh.Những người Hy Lạp định cư ở Adrianople (nay là Edirne ở Thổ Nhĩ Kỳ) và các thị trấn lân cận đã nổi dậy chống lại người Latinh vào đầu năm 1205. Kaloyan hứa rằng ông sẽ gửi quân tiếp viện cho họ trước Lễ Phục sinh.Coi sự hợp tác của Kaloyan với quân nổi dậy là một liên minh nguy hiểm, Hoàng đế Baldwin quyết định mở một cuộc phản công và ra lệnh rút quân khỏi Tiểu Á.Anh ta đã bao vây Adrianople trước khi có thể tập hợp toàn bộ quân đội của mình.Kaloyan vội vã đến thị trấn với sự dẫn đầu của đội quân hơn 14.000 chiến binh Bulgaria, Vlach và Cuman.Một cuộc rút lui giả vờ của người Cuman đã lôi kéo kỵ binh hạng nặng của quân thập tự chinh vào một cuộc phục kích ở vùng đầm lầy phía bắc Adrianople, tạo điều kiện cho Kaloyan gây thất bại nặng nề cho họ vào ngày 14 tháng 4 năm 1205.Bất chấp tất cả, trận chiến vẫn cam go và chiến đấu đến tận khuya.Phần chính của quân đội Latin bị tiêu diệt, các hiệp sĩ bị đánh bại và hoàng đế của họ, Baldwin I, bị bắt làm tù binh ở Veliko Tarnovo, nơi ông bị nhốt trên đỉnh một tòa tháp trong pháo đài Tsarevets.Tin tức nhanh chóng lan truyền khắp châu Âu về sự thất bại của các hiệp sĩ trong trận chiến Adrianople.Không còn nghi ngờ gì nữa, đó là một cú sốc lớn đối với thế giới vào thời điểm đó, bởi vì vinh quang của đội quân hiệp sĩ bất khả chiến bại đã được mọi người từ những người rách rưới đến những người giàu có biết đến.Nghe tin các hiệp sĩ, những người nổi tiếng khắp nơi, đã chiếm được một trong những thành phố lớn nhất vào thời điểm đó, Constantinople, thủ đô có những bức tường được đồn đại là không thể phá vỡ, đã tàn phá thế giới Công giáo.