Папа Мікалай III накіраваў Філіпа, біскупа Ферма, у Венгрыю, каб дапамагчы Ладыславу аднавіць каралеўскую ўладу 22 верасня 1278 г. Папскі легат прыбыў у Венгрыю ў пачатку 1279 г. Пры пасярэдніцтве легата Ладыслаў заключыў мірны дагавор з Кёсегамі.Аднак неўзабаве біскуп Філіп зразумеў, што большасць куманаў у Венгрыі ўсё яшчэ былі язычнікамі.Ён дамогся ад полаўскіх правадыроў цырыманіяльнага абяцання адмовіцца ад паганскіх звычаяў і пераканаў маладога караля Уладзіслава прынесці прысягу, каб прымусіць выканаць абяцанне полаўскіх правадыроў.Аднак полаўцы не падпарадкоўваліся законам, і Уладзіслаў, які сам быў напалову полаўцам, не здолеў іх прымусіць.У адплату біскуп Філіп адлучыў яго ад царквы і наклаў на Венгрыю інтэрдыкт у кастрычніку.Ладыслаў далучыўся да куманаў і звярнуўся да Святога Пасаду, але Папа адмовіўся адпусціць яго.Па патрабаванні Ладыслава ў пачатку студзеня 1280 года куманы схапілі і заключылі ў турму Філіпа Фермскага. Аднак ваявода Трансільваніі Фінта Аба схапіў Ладзіслава і перадаў яго Раланду Борсе.Менш чым праз два месяцы як легат, так і кароль былі вызвалены, а Уладзіслаў прынёс новую прысягу выконваць куманскія законы.Аднак многія полаўцы вырашылі пакінуць Венгрыю замест таго, каб падпарадкавацца патрабаванням легата.Ладзіслаў рушыў услед за куманамі аж да Саланкемена (цяпер Стары Сланкамен у Сербіі), але не змог перашкодзіць ім перайсці мяжу.