תוך ניצול התפוררותה של האימפריה הביזנטית , קלויאן כבש שטחים ביזנטיים לשעבר בתראקיה.בתחילה הוא ניסה להבטיח חלוקה שלווה של האדמות עם הצלבנים (או ה"לטינים").הוא ביקש מאינוקנטיוס השלישי למנוע מהם לתקוף את בולגריה .עם זאת, הצלבנים רצו ליישם את החוזה שלהם שחילק ביניהם את השטחים הביזנטים, כולל אדמות שקלואן טען.קאלויאן נתן מחסה לפליטים ביזנטיים ושכנע אותם לעורר מהומות בתרקיה ובמקדוניה נגד הלטינים.הפליטים, לפי דיווחו של רוברט מקלארי, התחייבו גם הם שיבחרו בו לקיסר אם יפלוש לאימפריה הלטינית.הבורגרים היוונים של אדריאנופול (כיום אדירנה בטורקיה) והערים הסמוכות קמו נגד הלטינים בתחילת 1205. קאלויאן הבטיח כי ישלח להם תגבורת לפני חג הפסחא.בהתחשב בשיתוף הפעולה של קאלויאן עם המורדים בברית מסוכנת, החליט הקיסר בולדווין לפתוח בהתקפת נגד והורה על נסיגת חייליו מאסיה הקטנה.הוא הטיל מצור על אדריאנופול לפני שהספיק לגייס את כל חייליו.קאלואן מיהר לעיירה בראש צבא של יותר מ-14,000 לוחמים בולגרים, ולאך וקומאן.נסיגה מעושה של הקומאנים משכה את הפרשים הכבדים של הצלבנים למארב בביצות מצפון לאדריאנופול, ואיפשרה לקלויאן להנחיל להם תבוסה מוחצת ב-14 באפריל 1205.למרות הכל, הקרב קשה ומתנהל עד שעות הערב המאוחרות.חלקו העיקרי של הצבא הלטיני מחוסל, האבירים מובסים והקיסר שלהם, בולדווין הראשון, נלקח בשבי בוליקו טרנובו, שם הוא ננעל בראש מגדל במבצר צארבץ.השמועה התפשטה במהירות ברחבי אירופה על תבוסת האבירים בקרב על אדריאנופול.ללא ספק, זה היה הלם גדול עבור העולם באותה תקופה, בשל העובדה שתהילתו של צבא האבירים הבלתי מנוצח היה ידוע לכולם, החל מבעלי סמרטוטים ועד לעושרים.לשמוע שהאבירים, שתהילתם נדדה למרחקים, שכבשו את אחת הערים הגדולות באותה תקופה, קונסטנטינופול, הבירה שעל פי השמועות היו חומותיה בלתי ניתנות לשבירה, היה הרסני עבור העולם הקתולי.