Paavi Nikolai III lähetti Fermon piispan Filippuksen Unkariin auttamaan Ladislausa palauttamaan kuninkaallinen valta 22. syyskuuta 1278. Paavin legaatti saapui Unkariin vuoden 1279 alussa. Legaatin välityksellä Ladislaus teki rauhansopimuksen Kőszegien kanssa.Piispa Philip kuitenkin tajusi pian, että useimmat kumanit olivat edelleen pakanoita Unkarissa.Hän sai kuumien päälliköiltä seremoniallisen lupauksen luopua pakanallisista tavoistaan ​​ja suostutteli nuoren kuninkaan Ladislausin vannomaan valan pitääkseen kumanien päälliköiden lupauksen.Kumaanit eivät kuitenkaan noudattaneet lakeja, ja Ladislaus, itse puolikuumalainen, ei onnistunut pakottamaan niitä.Kostoksi piispa Philip erotti hänet ja asetti Unkarille kiellon lokakuussa.Ladislaus liittyi kuunien joukkoon ja vetosi Pyhään istuimeen, mutta paavi kieltäytyi vapauttamasta häntä.Ladislausin pyynnöstä kuunit vangitsivat ja vangitsivat Filippoksen Fermon tammikuun alussa 1280. Transilvanian voivodi Finta Aba kuitenkin vangitsi Ladislausin ja luovutti hänet Roland Borsalle.Alle kahdessa kuukaudessa sekä legaatti että kuningas vapautettiin ja Ladislaus vannoi uuden valan valvoakseen Kuuman lakien noudattamista.Monet kuunit päättivät kuitenkin lähteä Unkarista sen sijaan, että olisivat totelleet legaatin vaatimuksia.Ladislaus seurasi liikkuvia kumeja aina Szalánkeméniin (nykyinen Stari Slankamen Serbiassa), mutta ei voinut estää heitä ylittämästä rajaa.