Som en av chartrene hans konkluderte med, hadde Charles tatt «full besittelse» av riket sitt innen 1323. I første halvdel av året flyttet han hovedstaden fra Temesvár til Visegrád i sentrum av riket sitt.Samme år tok hertugene av Østerrike avkall på Pressburg (nå Bratislava i Slovakia), som de hadde kontrollert i flere tiår, i bytte mot støtten de hadde fått fra Karl mot Ludvig IV, den hellige romerske keiseren, i 1322.Kongelig makt ble kun nominelt gjenopprettet i landene mellom Karpatene og Nedre Donau, som hadde blitt forent under en voivode, kjent som Basarab, på begynnelsen av 1320-tallet.Selv om Basarab var villig til å akseptere Karls overherredømme i en fredsavtale undertegnet i 1324, avsto han fra å gi avkall på kontrollen over landene han hadde okkupert i Banatet i Severin.Charles forsøkte også å gjeninnføre kongelig autoritet i Kroatia og Slavonia.Han avskjediget Ban of Slavonia, John Babonić, og erstattet ham med Mikcs Ákos i 1325. Ban Mikcs invaderte Kroatia for å underlegge de lokale herrene som hadde beslaglagt de tidligere slottene til Mladen Subić uten kongens godkjenning, men en av de kroatiske herrene, Ivan I. Nelipac, dirigerte forbudets tropper i 1326. Følgelig forble kongemakten bare nominell i Kroatia under Karls regjeringstid.Babonići og Kőszegis reiste seg i åpent opprør i 1327, men Ban Mikcs og Alexander Köcski beseiret dem.Som gjengjeldelse ble minst åtte festninger av de opprørske herrene konfiskert i Slavonia og Transdanubia.