Као што је закључено у једној од његових повеља, Карло је преузео „потпуни посед“ свог краљевства до 1323. У првој половини године преместио је своју престоницу из Темешвара у Вишеград у центру свог краљевства.Исте године, војводе Аустрије су се одрекле Пресбурга (данас Братислава у Словачкој), који су деценијама контролисали, у замену за подршку коју су добили од Карла против Луја ИВ, цара Светог римског царства, 1322. године.Краљевска власт је само номинално обновљена у земљама између Карпата и Доњег Дунава, које су биле уједињене под војводом, познатим као Басараб, почетком 1320-их.Иако је Басараб био вољан да прихвати Цхарлесову власт у мировном споразуму потписаном 1324. године, уздржао се од одрицања од контроле над земљама које је окупирао у бановини Северин.Карло је такође покушао да поврати краљевску власт у Хрватској и Славонији.Он је разрешио бана Славоније Јована Бабонића, заменивши га Микцсом Акосом 1325. Бан Микцс је упао у Хрватску да потчини локалне господаре који су без краљевог одобрења заузели некадашње дворце Младена Субића, али један од хрватских господара, Иван И. Нелипац, разбио је банове трупе 1326. године. Због тога је краљевска власт у Хрватској остала само номинална за време Карлове владавине.Бабонићи и Косзеги су подигли отворену побуну 1327. године, али су их бан Микцс и Александар Коцски поразили.У знак одмазде, одузето је најмање осам тврђава побуњених господара у Славонији и Задунављу.