Pave Nicholas III sendte Filip, biskop av Fermo, til Ungarn for å hjelpe Ladislaus med å gjenopprette kongemakten 22. september 1278. Den pavelige legaten ankom Ungarn tidlig i 1279. Med legatens mekling inngikk Ladislaus en fredsavtale med Kőszegis.Biskop Philip innså imidlertid snart at de fleste Cumans fortsatt var hedninger i Ungarn.Han hentet ut et seremonielt løfte fra Cuman-høvdingene om å gi opp sine hedenske skikker, og overtalte den unge kong Ladislaus til å sverge en ed for å håndheve overholdelse av Cuman-høvdingenes løfte.Cumanene overholdt imidlertid ikke lovene, og Ladislaus, selv en halv Cuman, klarte ikke å tvinge dem.Som gjengjeldelse ekskommuniserte biskop Philip ham og satte Ungarn under forbud i oktober.Ladislaus sluttet seg til Cumans og appellerte til Den hellige stol, men paven nektet å frikjenne ham.På Ladislauss krav grep og fengslet Cumanene Filip av Fermo tidlig i januar 1280. Finta Aba, voivode av Transylvania fanget imidlertid Ladislaus og overleverte ham til Roland Borsa.På mindre enn to måneder ble både legaten og kongen satt fri og Ladislaus avla en ny ed for å håndheve Cuman-lovene.Imidlertid bestemte mange Cumans seg for å forlate Ungarn i stedet for å adlyde legatens krav.Ladislaus fulgte de bevegelige Cumans så langt som til Szalánkemén (nå Stari Slankamen i Serbia), men kunne ikke hindre dem i å krysse grensen.