Paus Nicolaas III stuurde Filips, bisschop van Fermo, naar Hongarije om Ladislaus te helpen de koninklijke macht te herstellen op 22 september 1278. De pauselijke legaat arriveerde begin 1279 in Hongarije. Met bemiddeling van de legaat sloot Ladislaus een vredesverdrag met de Kőszegis.Bisschop Philip besefte echter al snel dat de meeste Cumans nog steeds heidenen waren in Hongarije.Hij dwong de Cuman-leiders een ceremoniële belofte af om hun heidense gebruiken op te geven, en haalde de jonge koning Ladislaus over om een ​​eed af te leggen om het nakomen van de belofte van de Cuman-leiders af te dwingen.De Cumans hielden zich echter niet aan de wetten en Ladislaus, zelf half Cuman, slaagde er niet in ze af te dwingen.Als vergelding excommuniceerde bisschop Philip hem en plaatste Hongarije in oktober onder verbod.Ladislaus sloot zich aan bij de Cumans en deed een beroep op de Heilige Stoel, maar de paus weigerde hem vrij te spreken.Op verzoek van Ladislaus namen de Cumans begin januari 1280 Filips van Fermo gevangen en zetten hem gevangen. Finta Aba, de voivode van Transsylvanië, nam Ladislaus echter gevangen en droeg hem over aan Roland Borsa.In minder dan twee maanden werden zowel de legaat als de koning vrijgelaten en legde Ladislaus een nieuwe eed af om de Cuman-wetten af ​​te dwingen.Veel Cumanen besloten echter Hongarije te verlaten in plaats van aan de eisen van de legaat te gehoorzamen.Ladislaus volgde de bewegende Cumans tot aan Szalánkemén (nu Stari Slankamen in Servië), maar kon hen er niet van weerhouden de grens over te steken.