Продължителният успех на Ивайло срещу византийските подкрепления кара Иван Асен III да избяга от столицата и да избяга във Византийската империя, докато Георги Тертер I завзема властта като император през 1280 г. След като заплахата от Ивайло и Иван Асен III е премахната, Георги Тертер I прави съюз с крал Карл I от Сицилия, със Стефан Драгутин от Сърбия и с Тесалия срещу Михаил VIII Палеолог от Византийската империя през 1281 г. Съюзът се проваля, тъй като Чарлз е разсеян от Сицилианската вечерня и отцепването на Сицилия през 1282 г., докато България е опустошен от монголите от Златната орда при Ногай хан.Търсейки сръбска подкрепа, Георги Тертер I сгодява дъщеря си Анна за сръбския крал Стефан Урош II Милутин през 1284 г.След смъртта на византийския император Михаил VIII Палеолог през 1282 г., Георги Тертер I подновява преговорите с Византийската империя и търси връщането на първата си съпруга.Това в крайна сметка беше постигнато чрез договор и двете Марии си размениха местата като императрица и заложница.Теодор Светослав също се завръща в България след успешна мисия на патриарх Йоаким III и е назначен за съимператор от баща си, но след поредното монголско нашествие през 1285 г. е изпратен като заложник на хан Ногай.Другата сестра на Теодор Светослав – Елена, също е изпратена в Ордата, където се омъжва за сина на Ногай Чака.Причините за изгнанието му не са много ясни.Според Георги Пахимер, след нападение на Ногайски хан срещу България, Георги Тертер е свален от престола и след това пътува до Адрианопол.Византийският император Андроник II Палеолог отначало отказал да го приеме, вероятно страхувайки се от усложнения с монголите, и Георги Тертер бил държан да чака в окаяни условия в околностите на Адрианопол.В крайна сметка бившият български император е изпратен да живее в Анадола.Георги Тертер I прекара следващото десетилетие от живота си в неизвестност.