Như một trong những điều lệ của ông đã kết luận, Charles đã nắm "toàn bộ quyền sở hữu" vương quốc của mình vào năm 1323. Trong nửa đầu năm đó, ông dời đô từ Temesvár đến Visegrád ở trung tâm vương quốc của mình.Cùng năm đó, Công tước Áo từ bỏ Pressburg (nay là Bratislava ở Slovakia), nơi họ đã kiểm soát trong nhiều thập kỷ, để đổi lấy sự hỗ trợ mà họ nhận được từ Charles trong cuộc chiến chống lại Louis IV, Hoàng đế La Mã Thần thánh, vào năm 1322.Quyền lực hoàng gia chỉ được khôi phục trên danh nghĩa ở các vùng đất giữa Dãy núi Carpathian và Hạ lưu sông Danube, nơi đã được thống nhất dưới một thống đốc, được gọi là Basarab, vào đầu những năm 1320.Mặc dù Basarab sẵn sàng chấp nhận quyền thống trị của Charles trong một hiệp ước hòa bình được ký kết vào năm 1324, nhưng ông vẫn không từ bỏ quyền kiểm soát các vùng đất mà ông đã chiếm đóng ở Banate of Severin.Charles cũng cố gắng khôi phục quyền lực hoàng gia ở Croatia và Slavonia.Ông bãi bỏ Ban của Slavonia, John Babonić, thay thế ông ta bằng Mikcs Ákos vào năm 1325. Ban Mikcs xâm lược Croatia để khuất phục các lãnh chúa địa phương, những người đã chiếm giữ các lâu đài cũ của Mladen Subić mà không có sự chấp thuận của nhà vua, nhưng một trong những lãnh chúa Croatia, Ivan I Nelipac, đánh đuổi quân đội của lệnh cấm vào năm 1326. Do đó, quyền lực hoàng gia chỉ còn là danh nghĩa ở Croatia trong triều đại của Charles.Babonići và Kőszegis nổi dậy công khai vào năm 1327, nhưng Ban Mikcs và Alexander Köcski đã đánh bại họ.Để trả đũa, ít nhất tám pháo đài của các lãnh chúa nổi loạn đã bị tịch thu ở Slavonia và Transdanubia.