Pave Nicholas III sendte Filip, biskop af Fermo, til Ungarn for at hjælpe Ladislaus med at genoprette kongemagten den 22. september 1278. Den pavelige legat ankom til Ungarn i begyndelsen af ​​1279. Med legatens mægling indgik Ladislaus en fredsaftale med Kőszegis.Biskop Philip indså dog hurtigt, at de fleste cumanere stadig var hedninger i Ungarn.Han udtrak et ceremonielt løfte fra de cumanske høvdinge om at opgive deres hedenske skikke og overtalte den unge kong Ladislaus til at sværge en ed for at håndhæve overholdelsen af ​​de cumanske høvdinges løfte.Cumanerne adlød dog ikke lovene, og Ladislaus, der selv var halvt Cuman, undlod at tvinge dem.Som gengældelse ekskommunikerede biskop Philip ham og satte Ungarn under forbud i oktober.Ladislaus sluttede sig til Cumanerne og appellerede til Den Hellige Stol, men paven nægtede at frikende ham.På Ladislaus' krav greb og fængslede Cumanerne Filip af Fermo i begyndelsen af ​​januar 1280. Finta Aba, voivode af Transsylvanien fangede imidlertid Ladislaus og overgav ham til Roland Borsa.På mindre end to måneder blev både legaten og kongen sat fri, og Ladislaus aflagde en ny ed for at håndhæve Cuman-lovene.Imidlertid besluttede mange Cumans at forlade Ungarn i stedet for at adlyde legatens krav.Ladislaus fulgte de bevægende Cumans så langt som til Szalánkemén (nu Stari Slankamen i Serbien), men kunne ikke forhindre dem i at krydse grænsen.