ด้วยการใช้ประโยชน์จากการล่มสลายของ จักรวรรดิไบแซนไทน์ คาโลยานจึงยึดดินแดนไบแซนไทน์ในอดีตในเทรซได้ในตอนแรกเขาพยายามรักษาการแบ่งแยกดินแดนอย่างสันติกับพวก ครูเสด (หรือ "ละติน")เขาขอให้ Innocent III ป้องกันไม่ให้พวกเขาโจมตี บัลแกเรียอย่างไรก็ตาม พวกครูเสดต้องการที่จะปฏิบัติตามสนธิสัญญาซึ่งแบ่งดินแดนไบแซนไทน์ระหว่างพวกเขา รวมถึงดินแดนที่ Kaloyan อ้างสิทธิ์ด้วยKaloyan ให้ที่พักพิงแก่ผู้ลี้ภัยชาวไบแซนไทน์และชักชวนพวกเขาให้ปลุกปั่นให้เกิดการจลาจลในเทรซและมาซิโดเนียเพื่อต่อต้านชาวลาตินตามบัญชีของโรเบิร์ตแห่งคลารี ผู้ลี้ภัยยังให้คำมั่นว่าพวกเขาจะเลือกเขาเป็นจักรพรรดิหากเขาบุกจักรวรรดิละตินชาวกรีกในเมือง Adrianople (ปัจจุบันคือ Edirne ในตุรกี) และเมืองใกล้เคียงได้ลุกขึ้นต่อสู้กับชาวลาตินในช่วงต้นปี 1205 Kaloyan สัญญาว่าเขาจะส่งกำลังเสริมให้พวกเขาก่อนอีสเตอร์เมื่อพิจารณาถึงความร่วมมือของ Kaloyan กับกลุ่มกบฏว่าเป็นพันธมิตรที่อันตราย จักรพรรดิบอลด์วินจึงตัดสินใจเปิดการโจมตีตอบโต้และสั่งให้ถอนทหารออกจากเอเชียไมเนอร์เขาปิดล้อมเอเดรียโนเปิลก่อนที่เขาจะรวบรวมกองกำลังทั้งหมดได้Kaloyan รีบไปที่เมืองโดยเป็นหัวหน้ากองทัพที่มีนักรบบัลแกเรีย, Vlach และ Cuman มากกว่า 14,000 คนการล่าถอยโดยแสร้งทำเป็นโดย Cumans ดึงทหารม้าหนักของพวกครูเสดเข้ามาซุ่มโจมตีในหนองน้ำทางตอนเหนือของ Adrianople ทำให้ Kaloyan สามารถสร้างความพ่ายแพ้อย่างย่อยยับต่อพวกเขาในวันที่ 14 เมษายน 1205แม้จะมีทุกอย่างการต่อสู้ก็ยากลำบากและต่อสู้กันจนดึกดื่นส่วนหลักของกองทัพละตินถูกกำจัด อัศวินพ่ายแพ้ และจักรพรรดิบอลด์วินที่ 1 ถูกจับเข้าคุกในเวลิโก ทาร์โนโว ซึ่งเขาถูกขังอยู่บนยอดหอคอยในป้อมปราการซาเรเวตส์ข่าวลือแพร่สะพัดไปทั่วยุโรปอย่างรวดเร็วถึงความพ่ายแพ้ของอัศวินในยุทธการที่เอเดรียโนเปิลไม่ต้องสงสัยเลยว่า มันเป็นเรื่องที่น่าตกใจอย่างมากสำหรับโลกในขณะนั้น เนื่องจากความจริงที่ว่าความรุ่งโรจน์ของกองทัพอัศวินผู้ไร้พ่ายเป็นที่รู้จักของทุกคน ตั้งแต่พวกขี้ยาจนไปจนถึงพวกร่ำรวยเมื่อได้ยินว่าอัศวินซึ่งมีชื่อเสียงเลื่องลือไปไกลและได้ยึดเมืองที่ใหญ่ที่สุดแห่งหนึ่งในสมัยนั้น กรุงคอนสแตนติโนเปิลซึ่งเป็นเมืองหลวงซึ่งมีข่าวลือว่ากำแพงเมืองที่ไม่มีวันพังทลายกำลังสร้างความเสียหายให้กับโลกคาทอลิก