Sebagai salah satu piagamnya disimpulkan, Charles telah mengambil "pemilikan penuh" kerajaannya menjelang 1323. Pada separuh pertama tahun itu, dia memindahkan ibu kotanya dari Temesvár ke Visegrád di tengah-tengah kerajaannya.Pada tahun yang sama, Dukes Austria meninggalkan Pressburg (sekarang Bratislava di Slovakia), yang telah mereka kuasai selama beberapa dekad, sebagai pertukaran untuk sokongan yang mereka terima daripada Charles terhadap Louis IV, Maharaja Rom Suci, pada tahun 1322.Kuasa diraja hanya dipulihkan secara nominal di tanah antara Pergunungan Carpathian dan Lower Danube, yang telah disatukan di bawah voivode, dikenali sebagai Basarab, pada awal 1320-an.Walaupun Basarab bersedia menerima kekuasaan Charles dalam perjanjian damai yang ditandatangani pada tahun 1324, dia mengelak daripada melepaskan kawalan ke atas tanah yang telah didudukinya di Banate of Severin.Charles juga cuba mengembalikan kuasa diraja di Croatia dan Slavonia.Dia menolak Ban Slavonia, John Babonić, menggantikannya dengan Mikcs Ákos pada 1325. Ban Mikcs menyerang Croatia untuk menundukkan tuan-tuan tempatan yang telah merampas bekas istana Mladen Subić tanpa persetujuan raja, tetapi salah seorang tuan-tuan Croatia, Ivan I Nelipac, menumpaskan tentera larangan itu pada 1326. Akibatnya, kuasa diraja kekal hanya di Croatia semasa pemerintahan Charles.Babonići dan Kőszegis bangkit dalam pemberontakan terbuka pada tahun 1327, tetapi Ban Mikcs dan Alexander Köcski mengalahkan mereka.Sebagai tindakan balas, sekurang-kurangnya lapan kubu raja-raja yang memberontak telah dirampas di Slavonia dan Transdanubia.