Както заключава една от неговите харти, Чарлз е поел „пълно владение“ на своето кралство до 1323 г. През първата половина на годината той премества столицата си от Темешвар във Вишеград в центъра на своето кралство.През същата година херцозите на Австрия се отказаха от Пресбург (сега Братислава в Словакия), който контролираха от десетилетия, в замяна на подкрепата, която получиха от Чарлз срещу Луи IV, император на Свещената Римска империя, през 1322 г.Кралската власт е възстановена само номинално в земите между Карпатите и Долен Дунав, които са били обединени под воевода, известен като Басараб, в началото на 1320-те.Въпреки че Басараб е готов да приеме сюзеренитета на Чарлз в мирен договор, подписан през 1324 г., той се въздържа да се откаже от контрола върху земите, които е окупирал в баната на Северин.Карл също се опита да възстанови кралската власт в Хърватия и Славония.Той уволни бана на Славония Йоан Бабонич, като го замени с Микч Акош през 1325 г. Бан Микч нахлу в Хърватия, за да подчини местните господари, които бяха завзели бившите замъци на Младен Субич без одобрението на краля, но един от хърватските господари, Иван I Нелипац разбива войските на бана през 1326 г. Следователно кралската власт остава само номинална в Хърватия по време на управлението на Карл.Babonići и Kőszegis се вдигат на открит бунт през 1327 г., но Ban Mikcs и Alexander Köcski ги побеждават.Като отмъщение най-малко осем крепости на бунтовните господари са конфискувани в Славония и Отвъддунавието.