Kasimir III. von Polen starb am 5. November 1370. Ludwig kam nach der Beerdigung seines Onkels und ordnete die Errichtung eines prächtigen gotischen Marmordenkmals für den verstorbenen König an.Am 17. November wurde er im Krakauer Dom zum König von Polen gekrönt.Kasimir III. hatte sein Erbe – einschließlich der Herzogtümer Sieradz, Łęczyca und Dobrzyń – seinem Enkel Kasimir IV., Herzog von Pommern, vermacht.Die polnischen Prälaten und Herren waren jedoch gegen den Zerfall Polens und das Testament von Kasimir III. wurde für nichtig erklärt.Ludwig besuchte Gniezno und ernannte seine polnische Mutter Elisabeth zur Regentin, bevor er im Dezember nach Ungarn zurückkehrte.Die beiden überlebenden Töchter seines Onkels (Anna und Jadwiga) begleiteten ihn, und die polnischen Kronjuwelen wurden nach Buda überführt, was bei Ludwigs neuen Untertanen Unmut hervorrief.Ludwigs Frau gebar 1370, siebzehn Jahre nach ihrer Heirat, eine Tochter, Katharina;eine zweite Tochter, Mary, wurde 1371 geboren. Danach unternahm Ludwig mehrere Versuche, das Recht seiner Töchter auf seine Nachfolge zu wahren.