Kuten eräs hänen peruskirjansa totesi, Kaarle oli ottanut valtakuntansa "täysin haltuunsa" vuoteen 1323 mennessä. Vuoden ensimmäisellä puoliskolla hän muutti pääkaupunkinsa Temesvárista valtakuntansa keskustassa sijaitsevaan Visegrádiin.Samana vuonna Itävallan herttuat luopuivat Pressburgista (nykyisin Bratislava Slovakiassa), jota he hallitsivat vuosikymmeniä, vastineeksi tuesta, jonka he olivat saaneet Kaarlelta Pyhän Rooman keisarin Ludvig IV:tä vastaan ​​vuonna 1322.Kuninkaallinen valta palautettiin vain nimellisesti Karpaattien ja Ala-Tonavan välisille maille, jotka 1320-luvun alkuun mennessä oli yhdistynyt voivodiksi nimeltä Basarab.Vaikka Basarab oli valmis hyväksymään Kaarlen ylivallan vuonna 1324 allekirjoitetussa rauhansopimuksessa, hän pidättäytyi luopumasta Severinin banaatissa miehittämiensä maiden hallinnasta.Charles yritti myös palauttaa kuninkaallisen vallan Kroatiassa ja Slavoniassa.Hän erotti Slavonian banaan John Babonićin ja korvasi hänet Mikcs Ákosilla vuonna 1325. Ban Mikcs hyökkäsi Kroatiaan alistaakseen paikalliset herrat, jotka olivat valloittaneet Mladen Subićin entiset linnat ilman kuninkaan lupaa, mutta yksi Kroatian herroista, Ivan I Nelipac, tyrmäsi kieltojoukot vuonna 1326. Näin ollen kuninkaallinen valta säilyi Kroatiassa vain nimellisenä Kaarlen hallituskaudella.Babonićit ja Kőszegit nousivat avoimeen kapinaan vuonna 1327, mutta Ban Mikcs ja Alexander Köcski voittivat heidät.Kostona ainakin kahdeksan kapinallisten herrojen linnoitusta takavarikoitiin Slavoniassa ja Transdanubiassa.