Ipinadala ni Pope Nicholas III si Philip, obispo ng Fermo, sa Hungary upang tulungan si Ladislaus na maibalik ang maharlikang kapangyarihan noong 22 Setyembre 1278. Dumating ang papal legate sa Hungary noong unang bahagi ng 1279. Sa pamamagitan ng legado, nagtapos si Ladislaus ng isang kasunduan sa kapayapaan sa Kőszegis.Hindi nagtagal, napagtanto ni Bishop Philip, gayunpaman, na karamihan sa mga Cumans ay mga pagano pa rin sa Hungary.Kinuha niya ang isang seremonyal na pangako mula sa mga pinunong Cuman na talikuran ang kanilang mga paganong kaugalian, at hinikayat ang batang si Haring Ladislaus na manumpa ng isang panunumpa upang ipatupad ang pagtupad sa pangako ng mga pinunong Cuman.Ang mga Cumans ay hindi sumunod sa mga batas, gayunpaman, at si Ladislaus, ang kanyang sarili na kalahating Cuman, ay nabigo na pilitin ang mga ito.Bilang pagganti, itiniwalag siya ni Bishop Philip at inilagay ang Hungary sa ilalim ng interdict noong Oktubre.Si Ladislaus ay sumali sa Cumans at umapela sa Holy See, ngunit tumanggi ang Papa na palayain siya.Sa kahilingan ni Ladislaus, kinuha at ikinulong ng Cumans si Philip ng Fermo noong unang bahagi ng Enero 1280. Gayunpaman, nakuha ni Finta Aba, voivode ng Transylvania si Ladislaus at ibinigay siya kay Roland Borsa.Sa wala pang dalawang buwan, parehong pinalaya ang legado at ang hari at si Ladislaus ay nanumpa upang ipatupad ang mga batas ng Cuman.Gayunpaman, maraming Cumans ang nagpasya na umalis sa Hungary sa halip na sundin ang mga kahilingan ng legado.Sinundan ni Ladislaus ang mga gumagalaw na Cumans hanggang sa Szalánkemén (ngayon ay Stari Slankamen sa Serbia), ngunit hindi niya mapigilang tumawid sa hangganan.