Påven Nicholas III skickade Filip, biskop av Fermo, till Ungern för att hjälpa Ladislaus att återställa kunglig makt den 22 september 1278. Den påvliga legaten anlände till Ungern i början av 1279. Med legatens medling slöt Ladislaus ett fredsavtal med Kőszegis.Biskop Philip insåg dock snart att de flesta Cumaner fortfarande var hedningar i Ungern.Han tog fram ett ceremoniellt löfte från de kumanska hövdingarna om att ge upp sina hedniska seder och övertalade den unge kung Ladislaus att svära en ed för att genomdriva att de kumanska hövdingarnas löfte skulle hållas.Cumanerna lydde dock inte lagarna och Ladislaus, själv en halv Cuman, misslyckades med att tvinga dem.Som vedergällning exkommunicerade biskop Philip honom och satte Ungern under förbud i oktober.Ladislaus anslöt sig till Cumans och vädjade till den heliga stolen, men påven vägrade att frikänna honom.På Ladislauss begäran grep och fängslade cumanerna Filip av Fermo i början av januari 1280. Finta Aba, voivode av Transsylvanien, fångade dock Ladislaus och överlämnade honom till Roland Borsa.På mindre än två månader släpptes både legaten och kungen och Ladislaus tog en ny ed för att upprätthålla Cuman-lagarna.Men många Cumans bestämde sig för att lämna Ungern istället för att lyda legatens krav.Ladislaus följde de rörliga Cumanerna ända till Szalánkemén (nu Stari Slankamen i Serbien), men kunde inte hindra dem från att korsa gränsen.