כפי שהסתיימה אחת מהאמנות שלו, צ'ארלס תפס "החזקה מלאה" על ממלכתו עד 1323. במחצית הראשונה של השנה, הוא העביר את בירתו מטמסוואר לויסגראד שבמרכז ממלכתו.באותה שנה ויתרו דוכסי אוסטריה על פרסבורג (כיום ברטיסלבה בסלובקיה), שבה שלטו במשך עשרות שנים, בתמורה לתמיכה שקיבלו מקרל נגד לואי הרביעי, קיסר הרומאים הקדושה, ב-1322.הכוח המלכותי הוחזר באופן נומינלי רק באדמות שבין הרי הקרפטים לדנובה התחתונה, שאוחדו תחת מחוז, הידוע בשם בסראב, בתחילת שנות ה-20 של המאה ה-20.למרות שבסרב היה מוכן לקבל את מרותו של צ'ארלס בהסכם שלום שנחתם ב-1324, הוא נמנע מוויתור על השליטה באדמות שכבש בבנאטה של ​​סברין.צ'ארלס גם ניסה להחזיר את הסמכות המלכותית בקרואטיה ובסלבוניה.הוא פיטר את באן סלבוניה, ג'ון באבוניץ', והחליף אותו במיקצ'ס אקוס בשנת 1325. באן מיקץ' פלש לקרואטיה כדי להכניע את האדונים המקומיים שתפסו את הטירות לשעבר של מלאדן סוביץ' ללא אישור המלך, אך אחד מהאדונים הקרואטים, איבן הראשון. נליפאק, סילק את חיילי האיסור בשנת 1326. כתוצאה מכך, כוח המלוכה נותר נומינלי בלבד בקרואטיה בתקופת שלטונו של צ'ארלס.הבאבוניצ'י והקושג'ים קמו במרד גלוי ב-1327, אך באן מיקס ואלכסנדר קוצקי ניצחו אותם.כנקמה הוחרמו בסלבוניה ובטרנסדנוביה לפחות שמונה מבצרים של האדונים המורדים.