Károly 1323-ra „teljes birtokba” vette királyságát, ahogy egyik oklevele zárta. Az év első felében fővárosát Temesvárról Visegrádra, a királysága központjába helyezte át.Ugyanebben az évben az osztrák hercegek lemondtak Pressburgról (ma Pozsony Szlovákiában), amelyet évtizedek óta irányítottak, cserébe a Károlytól kapott támogatásért IV. Lajos római római császár ellen 1322-ben.A királyi hatalom csak névlegesen állt helyre a Kárpátok és az Al-Duna közötti területeken, amelyeket az 1320-as évek elejére egy vajda, Basarab néven egyesítettek.Bár Basarab hajlandó volt elfogadni Károly szuzerenitását az 1324-ben aláírt békeszerződésben, tartózkodott attól, hogy lemondjon a Szeverini Bánságban elfoglalt területek feletti irányításról.Károly Horvátországban és Szlavóniában is megkísérelte visszaállítani a királyi hatalmat.Elbocsátotta Babonić János szlavóniai bánt, 1325-ben Mikcs Ákossal váltotta fel. Mikcs bán betört Horvátországba, hogy leigázza a helyi urakat, akik a király jóváhagyása nélkül foglalták el Mladen Subić egykori várait, de az egyik horvát urat, I. Ivánt. Nelipac, 1326-ban megverte a bán csapatait. Következésképpen a királyi hatalom csak névleges maradt Horvátországban Károly uralkodása alatt.Babonićiék és kőszegiek 1327-ben nyílt lázadásban felkeltek, de Mikcs bán és Köcski Sándor legyőzte őket.Megtorlásként Szlavóniában és a Dunántúlon elkobozták a lázadó főurak legalább nyolc várát.