Όπως κατέληγε σε ένα από τα καταστατικά του, ο Κάρολος είχε πάρει την «πλήρη κατοχή» του βασιλείου του μέχρι το 1323. Το πρώτο εξάμηνο του έτους, μετέφερε την πρωτεύουσά του από το Temesvár στο Visegrád στο κέντρο του βασιλείου του.Την ίδια χρονιά, οι Δούκες της Αυστρίας αποκήρυξαν το Πρέσμπουργκ (τώρα Μπρατισλάβα στη Σλοβακία), το οποίο έλεγχαν για δεκαετίες, με αντάλλαγμα την υποστήριξη που είχαν λάβει από τον Κάρολο εναντίον του Λουδοβίκου Δ', του Αγία Ρωμαίου Αυτοκράτορα, το 1322.Η βασιλική εξουσία αποκαταστάθηκε μόνο ονομαστικά στα εδάφη μεταξύ των Καρπαθίων και του Κάτω Δούναβη, τα οποία είχαν ενωθεί υπό έναν βοεβόδα, γνωστό ως Basarab, στις αρχές της δεκαετίας του 1320.Αν και ο Basarab ήταν πρόθυμος να δεχτεί την επικυριαρχία του Καρόλου σε μια συνθήκη ειρήνης που υπογράφηκε το 1324, απέφυγε να παραιτηθεί από τον έλεγχο των εδαφών που είχε καταλάβει στο Banate του Severin.Ο Κάρολος προσπάθησε επίσης να αποκαταστήσει τη βασιλική εξουσία στην Κροατία και τη Σλαβονία.Έδιωξε τον Μπαν της Σλαβονίας, John Babonić, αντικαθιστώντας τον με τον Mikcs Ákos το 1325. Ο Ban Mikcs εισέβαλε στην Κροατία για να υποτάξει τους τοπικούς άρχοντες που είχαν καταλάβει τα πρώην κάστρα του Mladen Subić χωρίς την έγκριση του βασιλιά, αλλά ένας από τους Κροάτες άρχοντες, Ivan Ο Nelipac, κατέστρεψε τα στρατεύματα της απαγόρευσης το 1326. Κατά συνέπεια, η βασιλική εξουσία παρέμεινε μόνο ονομαστική στην Κροατία κατά τη διάρκεια της βασιλείας του Καρόλου.Οι Babonići και οι Kőszegis ξεσηκώθηκαν σε ανοιχτή εξέγερση το 1327, αλλά ο Ban Mikcs και ο Alexander Köcski τους νίκησαν.Σε αντίποινα, τουλάχιστον οκτώ φρούρια των επαναστατημένων αρχόντων κατασχέθηκαν στη Σλαβονία και την Υπερδουνάβια.