Papa Nikola III poslao je Filipa, biskupa Ferma, u Mađarsku da pomogne Ladislavu da obnovi kraljevsku vlast 22. rujna 1278. Papinski je legat stigao u Mađarsku početkom 1279. Uz legatovo posredovanje Ladislav je sklopio mirovni ugovor s Kőszegijima.Međutim, biskup Filip ubrzo je shvatio da su većina Kumana u Ugarskoj još uvijek pogani.Od kumanskih poglavara izvukao je ceremonijalno obećanje o odustajanju od svojih poganskih običaja i nagovorio mladog kralja Ladislava da prisegom provede obećanje kumanskih poglavara.Međutim, Kumani nisu poštovali zakone, a Ladislav, koji je i sam bio polu-Kuman, nije ih uspio prisiliti.Kao odmazdu, biskup Filip ga je ekskomunicirao i u listopadu stavio Mađarsku pod interdikt.Ladislav se pridružio Kumanima i obratio se Svetoj Stolici, ali Papa ga je odbio razriješiti dužnosti.Na Ladislavov zahtjev, Kumani su uhvatili i zatvorili Filipa od Ferma početkom siječnja 1280. Međutim, Finta Aba, vojvoda Transilvanije, uhvatio je Ladislava i predao ga Rolandu Borsi.Za manje od dva mjeseca, i legat i kralj su oslobođeni, a Ladislav je položio novu prisegu da će provoditi kumanske zakone.Međutim, mnogi su Kumani umjesto da poslušaju legatov zahtjev, odlučili napustiti Ugarsku.Ladislav je pratio Kumane u pokretu sve do Szalánkeména (danas Stari Slankamen u Srbiji), ali ih nije mogao spriječiti da prijeđu granicu.