Andrew III døde den 14. januar 1301. Hans død skabte en mulighed for omkring et dusin herrer, eller "oligarker", som på det tidspunkt havde opnået de facto uafhængighed af monarken for at styrke deres autonomi.De erhvervede alle kongelige slotte i en række amter, hvor alle var forpligtet til enten at acceptere deres overhøjhed eller til at forlade.Ved nyheden om Andrew III's død inviterede vicekongen Šubić Charles af Anjou, den afdøde Charles Martels søn, til at gøre krav på tronen, som skyndte sig til Esztergom, hvor han blev kronet til konge.De fleste sekulære herrer modsatte sig dog hans styre og foreslog tronen til kong Wenceslaus II af Bøhmens navnebror.Den unge Wenceslaus kunne ikke styrke sin position og gav afkald til fordel for Otto III, hertug af Bayern i 1305. Sidstnævnte blev tvunget til at forlade riget i 1307 af Ladislaus Kán.En pavelig legat overtalte alle herrerne til at acceptere Charles af Anjous styre i 1310, men de fleste områder forblev uden for kongelig kontrol.Assisteret af prælaterne og et voksende antal mindre adelige iværksatte Charles I en række ekspeditioner mod de store herrer.Ved at udnytte den manglende enhed blandt dem besejrede han dem én efter én.Han vandt sin første sejr i slaget ved Rozgony (det nuværende Rozhanovce, Slovakiet) i 1312. Den mægtigste herre, Matthew Csák bevarede dog sin autonomi indtil sin død i 1321, mens familierne Babonić og Šubić kun blev underkuet i 1323.