Sa panahon ng minorya ni Ladislaus IV, maraming grupo ng mga baron — pangunahin ang mga Abas, Csáks, Kőszegis, at Gutkeleds — ang naglaban sa isa't isa para sa pinakamataas na kapangyarihan.Si Ladislaus ay idineklara na nasa edad na sa isang pagpupulong ng mga prelate, baron, noblemen, at Cumans noong 1277. Nakipag-alyansa siya kay Rudolf I ng Germany laban kay Ottokar II ng Bohemia.Ang kanyang mga puwersa ay may pangunahing papel sa tagumpay ni Rudolf laban kay Ottokar sa Labanan sa Marchfeld noong 26 Agosto 1278.Gayunpaman, hindi maibabalik ni Ladislaus ang kapangyarihan ng hari sa Hungary.Isang papal legate, si Philip, obispo ng Fermo, ang dumating sa Hungary upang tulungan si Ladislaus na pagsamahin ang kanyang awtoridad, ngunit ang prelate ay nagulat sa presensya ng libu-libong paganong Cumans sa Hungary.Nangako si Ladislaus na pipilitin niya silang magpatibay ng isang Kristiyanong pamumuhay, ngunit tumanggi silang sundin ang mga kahilingan ng legado.Nagpasya si Ladislaus na suportahan ang mga Cumans, kung saan itiniwalag siya ni Philip ng Fermo.Ikinulong ng mga Cumans ang legado, at nakuha ng mga partisan ng legate si Ladislaus.Noong unang bahagi ng 1280, sumang-ayon si Ladislaus na hikayatin ang mga Cumans na magpasakop sa legado, ngunit mas gusto ng maraming Cumans na umalis sa Hungary.Natalo ni Ladislaus ang isang hukbong Cuman na sumalakay sa Hungary noong 1282. Nakaligtas din ang Hungary sa pagsalakay ng mga Mongol noong 1285. Si Ladislaus, noong panahong iyon, ay naging hindi popular na marami sa kanyang mga nasasakupan ay inakusahan siya ng pag-uudyok sa mga Mongol na salakayin ang Hungary.Matapos niyang ikulong ang kanyang asawa noong 1286, nanirahan siya kasama ng kanyang mga mistresses na Cuman.Sa mga huling taon ng kanyang buhay, gumala siya sa buong bansa kasama ang kanyang mga kaalyado na Cuman, ngunit hindi na niya nakontrol ang pinakamakapangyarihang mga panginoon at obispo.Si Pope Nicholas IV ay nagplano na magdeklara ng isang krusada laban sa kanya, ngunit tatlong Cuman assassin ang pumatay kay Ladislaus.