Andreas III:n kuolema loi noin kymmenelle lordille eli "oligarkille", jotka olivat siihen mennessä saavuttaneet tosiasiallisen itsenäisyyden hallitsijasta, mahdollisuuden vahvistaa autonomiaansa.^[42] He hankkivat kaikki kuninkaalliset linnat useissa kreivikunnissa, joissa jokaisen oli joko hyväksyttävä ylivalta tai poistuttava.Kroatiassa tilanne kruunun suhteen muuttui vielä vaikeammaksi, kun varakuningas Paul Šubić ja Babonićin perhe saavuttivat tosiasiallisen itsenäisyyden, jolloin Paul Šubić jopa lyö oman kolikkonsa ja nykyajan kroatialaiset historioitsijat kutsuivat häntä "kroaattien kruunaamattomaksi kuninkaaksi".Andreas III:n kuolemasta saatuaan uutisen varakuningas Šubić kutsui valtaistuimelle Anjoun Kaarlen, edesmenneen Charles Martelin pojan, joka kiirehti Esztergomiin, jossa hänet kruunattiin kuninkaaksi.^[43] Useimmat maalliset herrat kuitenkin vastustivat hänen valtaansa ja ehdottivat valtaistuinta Böömin kuninkaalle Venceslaus II:lle, Böömin kaimapojalle.Paavin legaatti suostutteli kaikki herrat hyväksymään Kaarlen Anjoulaisen vallan vuonna 1310, mutta useimmat alueet jäivät kuninkaallisten hallinnan ulkopuolelle.^[44] Prelaattien ja kasvavan määrän pienempien aatelisten avustamana Kaarle I käynnisti sarjan retkiä suuria herroja vastaan.Hän voitti heidät yksitellen hyödyntäen heidän välistä yhtenäisyyden puutetta.^[45] Hän voitti ensimmäisen voittonsa Rozgonyn (nykyinen Rozhanovce, Slovakia) taistelussa vuonna 1312. ^[46]