Dumating si Charles sa Kaharian ng Hungary sa imbitasyon ng isang maimpluwensyang panginoong Croatian, si Paul Šubić, noong Agosto 1300. Namatay si Andrew III (ang huling dinastiyang Árpád) noong 14 Enero 1301, at sa loob ng apat na buwan si Charles ay kinoronahang hari, ngunit may isang pansamantalang korona sa halip na ang Banal na Korona ng Hungary.Karamihan sa mga maharlikang Hungarian ay tumanggi na sumuko sa kanya at inihalal si Wenceslaus ng Bohemia na hari.Si Charles ay umatras sa katimugang mga rehiyon ng kaharian.Kinilala ni Pope Boniface VIII si Charles bilang legal na hari noong 1303, ngunit hindi nagawang palakasin ni Charles ang kanyang posisyon laban sa kanyang kalaban.Napanalunan ni Charles ang kanyang unang mapagpasyang tagumpay sa Labanan ng Rozgony (sa kasalukuyang panahon na Rozhanovce sa Slovakia) noong 15 Hunyo 1312. Sa sumunod na dekada, naibalik ni Charles ang maharlikang kapangyarihan lalo na sa tulong ng mga prelate at mas mababang noblemen sa karamihan ng mga rehiyon ng kaharian .Matapos ang pagkamatay ng pinakamakapangyarihang oligarko, si Matthew Csák, noong 1321, si Charles ay naging hindi mapag-aalinlanganang pinuno ng buong kaharian, maliban sa Croatia kung saan napanatili ng mga lokal na maharlika ang kanilang autonomous na katayuan.Hindi niya nagawang hadlangan ang pag-unlad ng Wallachia bilang isang independiyenteng pamunuan pagkatapos ng kanyang pagkatalo sa Labanan ng Posada noong 1330.Si Charles ay bihirang gumawa ng panghabang-buhay na mga gawad ng lupa, sa halip ay nagpasimula ng isang sistema ng "mga opisina ng opisina", kung saan ang kanyang mga opisyal ay nagtamasa ng malaking kita, ngunit para lamang sa panahon na sila ay humawak ng isang maharlikang opisina, na tinitiyak ang kanilang katapatan.Sa ikalawang kalahati ng kanyang paghahari, hindi hawak ni Charles si Diets at pinangangasiwaan ang kanyang kaharian nang may ganap na kapangyarihan.Itinatag niya ang Order of Saint George, na siyang unang sekular na orden ng mga kabalyero.Itinaguyod niya ang pagbubukas ng mga bagong minahan ng ginto, na ginawa ang Hungary na pinakamalaking tagagawa ng ginto sa Europa.Ang unang Hungarian na mga gintong barya ay ginawa sa panahon ng kanyang paghahari.Sa kongreso ng Visegrád noong 1335, pinamagitan niya ang isang pagkakasundo sa pagitan ng dalawang magkalapit na monarko, sina John ng Bohemia at Casimir III ng Poland.Ang mga kasunduan na nilagdaan sa parehong kongreso ay nag-ambag din sa pagbuo ng mga bagong komersyal na ruta na nag-uugnay sa Hungary sa Kanlurang Europa.Ang mga pagsisikap ni Charles na muling pagsamahin ang Hungary, kasama ang kanyang mga repormang pang-administratibo at pang-ekonomiya, ay nagtatag ng batayan para sa mga nagawa ng kanyang kahalili, si Louis the Great.