त्याच्या एका चार्टरच्या निष्कर्षानुसार, चार्ल्सने 1323 पर्यंत त्याच्या राज्याचा "पूर्ण ताबा" घेतला होता. वर्षाच्या पहिल्या सहामाहीत, त्याने आपली राजधानी टेमेस्वर येथून आपल्या राज्याच्या मध्यभागी असलेल्या व्हिसेग्राड येथे हलवली.त्याच वर्षी, ऑस्ट्रियाच्या ड्यूक्सने 1322 मध्ये पवित्र रोमन सम्राट लुई IV विरुद्ध चार्ल्सकडून मिळालेल्या पाठिंब्याच्या बदल्यात प्रेसबर्ग (आता स्लोव्हाकियामधील ब्रातिस्लाव्हा), ज्यावर त्यांनी अनेक दशके नियंत्रण ठेवले होते, त्याग केला.कार्पेथियन पर्वत आणि लोअर डॅन्यूबच्या दरम्यानच्या प्रदेशात रॉयल शक्ती केवळ नाममात्र पुनर्संचयित केली गेली होती, जी 1320 च्या दशकाच्या सुरुवातीस बसराब म्हणून ओळखल्या जाणार्‍या व्होइव्होडच्या खाली एकत्रित झाली होती.जरी 1324 मध्ये स्वाक्षरी केलेल्या शांतता करारात बसराब चार्ल्सचे अधिपत्य स्वीकारण्यास तयार होता, तरी त्याने सेव्हरिनच्या बॅनेटमध्ये ताब्यात घेतलेल्या जमिनींवर नियंत्रण सोडण्याचे टाळले.चार्ल्सने क्रोएशिया आणि स्लाव्होनियामध्ये शाही अधिकार पुनर्स्थापित करण्याचा प्रयत्न केला.त्याने 1325 मध्ये स्लाव्होनियाचा बॅन ऑफ जॉन बॅबोनिक बरखास्त केला आणि त्याच्या जागी 1325 मध्ये मिक्‍स अकोसला नियुक्त केले. बॅन मिक्‍सने राजाच्या परवानगीशिवाय म्लाडेन सुबिकचे पूर्वीचे किल्ले ताब्यात घेतलेल्या स्थानिक अधिपतींना वश करण्यासाठी क्रोएशियावर आक्रमण केले, परंतु क्रोएशियन प्रभूंपैकी एक इव्हान आय. नेलिपॅकने 1326 मध्ये बंदीच्या सैन्याचा पराभव केला. परिणामी, चार्ल्सच्या कारकिर्दीत क्रोएशियामध्ये राजेशाही शक्ती केवळ नाममात्र राहिली.1327 मध्ये बॅबोनीकी आणि कोझेगीस उघड बंड करून उठले, परंतु बॅन मिक्स आणि अलेक्झांडर कोस्की यांनी त्यांचा पराभव केला.बदला म्हणून, स्लाव्होनिया आणि ट्रान्सडानुबियामध्ये बंडखोर प्रभूंचे किमान आठ किल्ले जप्त करण्यात आले.