Namatay si Andrew III noong Enero 14, 1301. Ang kanyang kamatayan ay lumikha ng pagkakataon para sa humigit-kumulang isang dosenang mga panginoon, o "oligarka", na noong panahong iyon ay nakamit na ang de facto na kalayaan ng monarko upang palakasin ang kanilang awtonomiya.Nakuha nila ang lahat ng royal castles sa ilang county kung saan obligado ang lahat na tanggapin ang kanilang supremacy o umalis.Sa balita ng pagkamatay ni Andrew III, inimbitahan ni viceroy Šubić si Charles ng Anjou, ang yumaong anak ni Charles Martel, na angkinin ang trono, na nagmamadaling pumunta sa Esztergom kung saan siya kinoronahang hari.Gayunpaman, karamihan sa mga sekular na panginoon ay sumalungat sa kanyang pamumuno at iminungkahi ang trono kay Haring Wenceslaus II ng pangalan ng anak ng Bohemia.Hindi mapalakas ng batang Wenceslaus ang kanyang posisyon at tinalikuran si Otto III, Duke ng Bavaria noong 1305. Ang huli ay pinilit na umalis sa kaharian noong 1307 ni Ladislaus Kán.Isang papal legate ang humimok sa lahat ng mga panginoon na tanggapin ang pamumuno ni Charles ng Anjou noong 1310, ngunit karamihan sa mga teritoryo ay nanatiling wala sa kontrol ng hari.Sa tulong ng mga prelate at dumaraming bilang ng mas mababang maharlika, naglunsad si Charles I ng isang serye ng mga ekspedisyon laban sa mga dakilang panginoon.Sinamantala ang kawalan ng pagkakaisa sa kanila, isa-isa niyang tinalo.Nakuha niya ang kanyang unang tagumpay sa labanan ng Rozgony (kasalukuyang Rozhanovce, Slovakia) noong 1312. Gayunpaman, ang pinakamakapangyarihang panginoon, si Matthew Csák ay napanatili ang kanyang awtonomiya hanggang sa kanyang kamatayan noong 1321, habang ang mga Babonić at Šubić na pamilya ay nasakop lamang sa 1323.