Jak končila jedna z jeho listin, Karel získal „plné vlastnictví“ svého království do roku 1323. V první polovině roku přesunul své hlavní město z Temesváru do Visegrádu v centru svého království.Ve stejném roce se rakouská vévoda vzdala Pressburgu (nyní Bratislavy na Slovensku), který po desetiletí ovládali, výměnou za podporu, kterou v roce 1322 obdrželi od Karla proti Ludvíku IV., císaři Svaté říše římské.Královská moc byla obnovena pouze nominálně v zemích mezi Karpaty a Dolním Dunajem, které byly začátkem 20. let 14. století sjednoceny pod vojvodstvím známým jako Basarab.Ačkoli byl Basarab ochoten přijmout Karlovu suverenitu v mírové smlouvě podepsané v roce 1324, zdržel se kontroly nad zeměmi, které obsadil v Banátu Severin.Karel se také pokusil obnovit královskou autoritu v Chorvatsku a Slavonii.Odvolal slavonského bana Jana Baboniće a nahradil ho Mikcsem Ákosem v roce 1325. Ban Mikcs vtrhl do Chorvatska, aby si podrobil místní pány, kteří se bez králova souhlasu zmocnili bývalých hradů Mladen Subić, ale jeden z chorvatských pánů Ivan I. Nelipac, porazil bánova vojska v roce 1326. V důsledku toho zůstala královská moc v Chorvatsku za Karlovy vlády pouze nominální.Babonići a Kőszegis povstali v otevřeném povstání v roce 1327, ale Ban Mikcs a Alexander Köcski je porazili.Jako odvetu bylo ve Slavonii a Zadunajsku zkonfiskováno nejméně osm pevností odbojných pánů.