Siç përfundonte një nga statutet e tij, Karli kishte marrë "posedimin e plotë" të mbretërisë së tij deri në vitin 1323. Në gjysmën e parë të vitit, ai e zhvendosi kryeqytetin e tij nga Temesvár në Visegrad, në qendër të mbretërisë së tij.Në të njëjtin vit, Dukat e Austrisë hoqën dorë nga Pressburgu (tani Bratislava në Sllovaki), të cilin e kishin kontrolluar për dekada, në këmbim të mbështetjes që kishin marrë nga Karli kundër Louis IV, Perandorit të Shenjtë Romak, në 1322.Fuqia mbretërore u rivendos vetëm nominalisht në tokat midis maleve Karpate dhe Danubit të Poshtëm, të cilat ishin bashkuar nën një vojvodë, të njohur si Basarab, në fillim të viteve 1320.Megjithëse Basarab ishte i gatshëm të pranonte sundimin e Karlit në një traktat paqeje të nënshkruar në 1324, ai u përmbajt nga heqja dorë nga kontrolli i tokave që kishte pushtuar në Banate të Severinit.Karli u përpoq gjithashtu të rivendoste autoritetin mbretëror në Kroaci dhe Sllavoni.Ai e shkarkoi Banin e Sllavonisë, Gjon Baboniqin, duke e zëvendësuar me Mikcs Ákos në 1325. Ban Mikcs pushtoi Kroacinë për të nënshtruar zotërit vendas që kishin pushtuar kështjellat e mëparshme të Mladen Subiçit pa miratimin e mbretit, por një nga lordët kroatë, Ivan Nelipac, shkatërroi trupat e ndalimit në 1326. Për rrjedhojë, pushteti mbretëror mbeti vetëm nominal në Kroaci gjatë mbretërimit të Karlit.Babonići dhe Kőszegis u ngritën në rebelim të hapur në 1327, por Ban Mikcs dhe Alexander Köcski i mundën ata.Si hakmarrje, të paktën tetë fortesa të zotërve rebelë u konfiskuan në Sllavoni dhe Transdanubia.