Litevci podnikali nájezdy do Halychu, Lodomerie a Polska, v listopadu 1376 téměř dosáhli Krakova. V Krakově vypukla vzpoura proti neoblíbené královně matce Alžbětě 6. prosince.Výtržníci povraždili asi 160 služebníků královny-matky a přinutili ji uprchnout do Maďarska.Władysław Bílý, vévoda z Gniewkowa, který byl mužským členem královské dynastie Piastovců, využil situace a oznámil svůj nárok na polskou korunu.Ludvíkovi partyzáni však uchazeče porazili a Ludvík z něj učinil opata pannonhalmského arciopatství v Maďarsku.Ludvík jmenoval Vladislava II. Opolského svým guvernérem v Polsku.V létě 1377 Ludvík napadl území držená litevským princem Jiřím v Lodomeria.Jeho polští vojáci brzy dobyli Chełm, zatímco Ludvík se zmocnil Georgeova sídla, Belzu, poté, co jej sedm týdnů obléhal.Okupovaná území v Lodomerii spolu s Haličí začlenil do Uherského království.Tři litevští princové – Fedor, princ z Ratna, a dva podolští princové, Alexandr a Boris – přijali Ludvíkovu suverenitu.