Soos een van sy handveste afgesluit het, het Karel sy koninkryk teen 1323 "volledige besit" geneem. In die eerste helfte van die jaar het hy sy hoofstad van Temesvár na Visegrád in die middel van sy koninkryk verskuif.In dieselfde jaar het die Hertoge van Oostenryk afstand gedoen van Pressburg (nou Bratislava in Slowakye), wat hulle dekades lank beheer het, in ruil vir die steun wat hulle van Karel teen Lodewyk IV, Heilige Romeinse Keiser, in 1322 ontvang het.Koninklike mag is slegs nominaal herstel in die lande tussen die Karpate en die Benede Donau, wat teen die vroeë 1320's onder 'n woiwod, bekend as Basarab, verenig is.Alhoewel Basarab bereid was om Karel se soewereiniteit te aanvaar in 'n vredesverdrag wat in 1324 onderteken is, het hy hom daarvan weerhou om beheer oor die lande wat hy in die Banaat van Severin beset het, prys te gee.Charles het ook probeer om koninklike gesag in Kroasië en Slavonië te herstel.Hy het die Ban van Slavonië, John Babonić, ontslaan en hom met Mikcs Ákos in 1325 vervang. Ban Mikcs het Kroasië binnegeval om die plaaslike here te onderwerp wat die voormalige kastele van Mladen Subić sonder die koning se goedkeuring beslag gelê het, maar een van die Kroatiese here, Ivan I Nelipac, het die ban se troepe in 1326 verdryf. Gevolglik het koninklike mag slegs nominaal in Kroasië gebly tydens Charles se bewind.Die Babonići en die Kőszegis het in 1327 in openlike rebellie opgestaan, maar Ban Mikcs en Alexander Köcski het hulle verslaan.In weerwraak is ten minste agt vestings van die opstandige here in Slavonië en Transdanubië gekonfiskeer.