Казимир III польський помер 5 листопада 1370 року. Людовик прибув після похорону свого дядька і наказав спорудити чудовий готичний мармуровий пам'ятник померлому королю.Він був коронований королем Польщі в Краківському соборі 17 листопада.Казимир III заповів свою спадщину, включаючи князівства Серадзь, Ленчицю та Добжин, своєму онукові, Казимиру IV, герцогу Померанського.Проте польські прелати та сеньйори були проти розпаду Польщі, а заповіт Казимира III було визнано недійсним.Людовик відвідав Гнєзно і призначив свою матір-польку Єлизавету регентшею перед поверненням до Угорщини в грудні.Дві вцілілі доньки його дядька (Анна та Ядвіга) супроводжували його, а польські коронні коштовності були перенесені до Буди, що викликало невдоволення серед нових підданих Людовіка.Дружина Людовіка народила доньку Катерину в 1370 році, через сімнадцять років після їхнього одруження;друга дочка, Марія, народилася в 1371 році. Після цього Людовик зробив кілька спроб захистити право своїх дочок стати його наступником.