Casimir III af Polen døde den 5. november 1370. Ludvig ankom efter sin onkels begravelse og beordrede opførelsen af ​​et prægtigt gotisk marmormonument til den afdøde konge.Han blev kronet til konge af Polen i Krakow-katedralen den 17. november.Casimir III havde givet sit arv – herunder hertugdømmerne Sieradz, Łęczyca og Dobrzyń – til sit barnebarn, Casimir IV, hertug af Pommern.De polske prælater og herrer var imidlertid imod Polens opløsning, og Casimir III's testamente blev erklæret ugyldigt.Louis besøgte Gniezno og gjorde sin polske mor, Elizabeth, til regent, inden han vendte tilbage til Ungarn i december.Hans onkels to overlevende døtre (Anna og Jadwiga) fulgte ham, og de polske kronjuveler blev overført til Buda, hvilket rejste utilfredshed blandt Louis' nye undersåtter.Ludvigs kone fødte en datter, Catherine, i 1370, sytten år efter deres ægteskab;en anden datter, Mary, blev født i 1371. Derefter gjorde Louis's flere forsøg på at sikre sine døtres ret til at efterfølge ham.