Som et af hans charter konkluderede, havde Charles taget "fuld besiddelse" af sit rige i 1323. I første halvdel af året flyttede han sin hovedstad fra Temesvár til Visegrád i centrum af sit rige.Samme år gav hertugerne af Østrig afkald på Pressburg (nu Bratislava i Slovakiet), som de havde kontrolleret i årtier, til gengæld for den støtte, de havde modtaget fra Karl mod Ludvig IV, den hellige romerske kejser, i 1322.Kongelig magt blev kun nominelt genoprettet i landene mellem Karpaterne og Nedre Donau, som var blevet forenet under en voivode, kendt som Basarab, i begyndelsen af ​​1320'erne.Selvom Basarab var villig til at acceptere Karls overherredømme i en fredstraktat underskrevet i 1324, afstod han fra at give afkald på kontrollen over de lande, han havde besat i Banatet Severin.Charles forsøgte også at genindsætte kongelig myndighed i Kroatien og Slavonien.Han afskedigede forbuddet af Slavonien, John Babonić, og erstattede ham med Mikcs Ákos i 1325. Ban Mikcs invaderede Kroatien for at underlægge sig de lokale herrer, der havde erobret de tidligere slotte Mladen Subić uden kongens godkendelse, men en af ​​de kroatiske herrer, Ivan I. Nelipac, dirigerede bans tropper i 1326. Følgelig forblev kongemagten kun nominel i Kroatien under Karls regeringstid.Babonići og Kőszegis rejste sig i åbent oprør i 1327, men Ban Mikcs og Alexander Köcski besejrede dem.Som gengældelse blev mindst otte fæstninger af de oprørske herrer konfiskeret i Slavonien og Transdanubien.