Sa pagtatapos ng isa sa kanyang mga charter, "buong pag-aari" ni Charles ang kanyang kaharian noong 1323. Sa unang kalahati ng taon, inilipat niya ang kanyang kabisera mula Temesvár patungo sa Visegrád sa gitna ng kanyang kaharian.Sa parehong taon, tinalikuran ng mga Duke ng Austria ang Pressburg (ngayon ay Bratislava sa Slovakia), na kontrolado nila sa loob ng mga dekada, bilang kapalit ng suportang natanggap nila mula kay Charles laban kay Louis IV, Holy Roman Emperor, noong 1322.Nominally na naibalik ang kapangyarihan ng hari sa mga lupain sa pagitan ng Carpathian Mountains at Lower Danube, na pinagsama sa ilalim ng voivode, na kilala bilang Basarab, noong unang bahagi ng 1320s.Bagama't handang tanggapin ni Basarab ang panunungkulan ni Charles sa isang kasunduang pangkapayapaan na nilagdaan noong 1324, pinigilan niya ang pagtalikod sa kontrol sa mga lupain na kanyang nasakop sa Banate ng Severin.Tinangka din ni Charles na ibalik ang awtoridad ng hari sa Croatia at Slavonia.Inalis niya ang Ban of Slavonia, si John Babonić, na pinalitan siya ni Mikcs Ákos noong 1325. Sinalakay ni Ban Mikcs ang Croatia upang sakupin ang mga lokal na panginoon na sumakop sa mga dating kastilyo ng Mladen Subić nang walang pag-apruba ng hari, ngunit isa sa mga panginoong Croatian, si Ivan I Nelipac, ay nilusob ang mga tropa ng pagbabawal noong 1326. Dahil dito, ang kapangyarihan ng hari ay nanatiling nominal lamang sa Croatia noong panahon ng paghahari ni Charles.Ang Babonići at ang Kőszegis ay bumangon sa bukas na paghihimagsik noong 1327, ngunit natalo sila nina Ban Mikcs at Alexander Köcski.Bilang pagganti, hindi bababa sa walong kuta ng mga rebeldeng panginoon ang nakumpiska sa Slavonia at Transdanubia.