Seperti yang disimpulkan oleh salah satu piagamnya, Károly telah "menguasai penuh" kerajaannya pada tahun 1323. Pada paruh pertama tahun itu, ia memindahkan ibu kotanya dari Temesvár ke Visegrád di pusat kerajaannya.Pada tahun yang sama, Adipati Austria meninggalkan Pressburg (sekarang Bratislava di Slovakia), yang telah mereka kuasai selama beberapa dekade, sebagai imbalan atas dukungan yang mereka terima dari Charles melawan Louis IV, Kaisar Romawi Suci, pada tahun 1322.Kekuasaan kerajaan hanya dipulihkan secara nominal di tanah antara Pegunungan Carpathian dan Danube Bawah, yang telah disatukan di bawah voivode, yang dikenal sebagai Basarab, pada awal tahun 1320-an.Meskipun Basarab bersedia menerima kekuasaan Charles dalam perjanjian damai yang ditandatangani pada tahun 1324, dia menahan diri untuk tidak melepaskan kendali atas tanah yang telah dia duduki di Banate of Severin.Charles juga berusaha untuk memulihkan otoritas kerajaan di Kroasia dan Slavonia.Dia menolak Larangan Slavonia, John Babonić, menggantikannya dengan Mikcs Ákos pada tahun 1325. Ban Mikcs menginvasi Kroasia untuk menaklukkan penguasa lokal yang telah merebut bekas kastil Mladen Subić tanpa persetujuan raja, tetapi salah satu penguasa Kroasia, Ivan I Nelipac, mengalahkan pasukan pelarangan pada tahun 1326. Akibatnya, kekuasaan kerajaan hanya tinggal nominal di Kroasia selama pemerintahan Charles.Babonići dan Kőszegis memberontak secara terbuka pada tahun 1327, tetapi Ban Mikcs dan Alexander Köcski mengalahkan mereka.Sebagai pembalasan, setidaknya delapan benteng para penguasa pemberontak disita di Slavonia dan Transdanubia.