Zoals een van zijn charters concludeerde, had Charles tegen 1323 "volledig bezit" van zijn koninkrijk genomen. In de eerste helft van het jaar verplaatste hij zijn hoofdstad van Temesvár naar Visegrád in het centrum van zijn koninkrijk.In hetzelfde jaar deden de hertogen van Oostenrijk afstand van Pressburg (nu Bratislava in Slowakije), dat ze decennialang hadden gecontroleerd, in ruil voor de steun die ze in 1322 van Karel hadden gekregen tegen Lodewijk IV, de Heilige Roomse keizer.De koninklijke macht werd pas in naam hersteld in de landen tussen de Karpaten en de Beneden-Donau, die tegen het begin van de jaren 1320 verenigd waren onder een voivode, bekend als Basarab.Hoewel Basarab bereid was de heerschappij van Karel te aanvaarden in een vredesverdrag dat in 1324 werd ondertekend, zag hij af van het afstand doen van de controle over de landen die hij had bezet in de Banate van Severin.Charles probeerde ook het koninklijk gezag in Kroatië en Slavonië te herstellen.Hij ontsloeg de Ban van Slavonië, John Babonić, en verving hem door Mikcs Ákos in 1325. Ban Mikcs viel Kroatië binnen om de lokale heren te onderwerpen die de voormalige kastelen van Mladen Subić hadden ingenomen zonder de goedkeuring van de koning, maar een van de Kroatische heren, Ivan I. Nelipac stuurde de troepen van het verbod in 1326 op de vlucht. Bijgevolg bleef de koninklijke macht in Kroatië slechts in naam tijdens het bewind van Karel.De Babonići en de Kőszegis kwamen in 1327 openlijk in opstand, maar Ban Mikcs en Alexander Köcski versloegen hen.Als vergelding werden in Slavonië en Transdanubië minstens acht forten van de opstandige heren geconfisqueerd.