Ang pagkamatay ni Andrew III ay lumikha ng pagkakataon para sa humigit-kumulang isang dosenang mga panginoon, o "mga oligarch", na noong panahong iyon ay nakamit ang de facto na kalayaan ng monarko upang palakasin ang kanilang awtonomiya.^[42] Nakuha nila ang lahat ng maharlikang kastilyo sa ilang county kung saan obligado ang lahat na tanggapin ang kanilang supremacy o umalis.Sa Croatia ang sitwasyon para sa korona ay naging mas mahirap, dahil ang viceroy na si Paul Šubić at ang pamilyang Babonić ay nakamit ang de facto na kalayaan, kung saan si Paul Šubić ay nag-print pa ng kanyang sariling barya at tinawag ng mga kontemporaryong Croatian na istoryador bilang "hindi nakoronahan na hari ng mga Croats".Sa balita ng pagkamatay ni Andrew III, inimbitahan ni viceroy Šubić si Charles ng Anjou, ang yumaong anak ni Charles Martel, na angkinin ang trono, na nagmadali sa Esztergom kung saan siya kinoronahang hari.^[43] Gayunpaman, karamihan sa mga sekular na panginoon ay sumalungat sa kanyang pamumuno at iminungkahi ang trono kay Haring Wenceslaus II ng kapangalan na anak ng Bohemia.Isang papal legate ang humimok sa lahat ng mga panginoon na tanggapin ang pamumuno ni Charles ng Anjou noong 1310, ngunit karamihan sa mga teritoryo ay nanatiling wala sa kontrol ng hari.^[44] Sa tulong ng mga prelate at dumaraming bilang ng mas mababang maharlika, naglunsad si Charles I ng isang serye ng mga ekspedisyon laban sa mga dakilang panginoon.Sinamantala ang kawalan ng pagkakaisa sa kanila, isa-isa niyang tinalo.^[45] Nanalo siya sa kanyang unang tagumpay sa labanan sa Rozgony (kasalukuyang Rozhanovce, Slovakia) noong 1312. ^[46]