Litauerne foretog razziaer i Halych, Lodomeria og Polen, og nåede næsten frem til Krakow i november 1376. Et optøj udbrød i Krakow mod den upopulære dronningemoder, Elizabeth, den 6. december.Optøjerne slagtede omkring 160 tjenere af dronningemoderen og tvang hende til at flygte til Ungarn.Ved at udnytte situationen annoncerede Władysław den Hvide, hertug af Gniewkowo, som var et mandligt medlem af det kongelige Piast-dynasti, sit krav på den polske krone.Imidlertid besejrede Ludvigs partisaner prætendenten, og Ludvig gjorde ham til abbed i Pannonhalma Ærkekloster i Ungarn.Ludvig udnævnte Vladislaus II af Opole til sin guvernør i Polen.I sommeren 1377 invaderede Ludvig de områder, som den litauiske prins George havde i Lodomeria.Hans polske tropper erobrede hurtigt Chełm, mens Louis erobrede Georges sæde, Belz, efter at have belejret det i syv uger.Han inkorporerede de besatte områder i Lodomeria sammen med Galicien i kongeriget Ungarn.Tre litauiske prinser - Fedor, prins af Ratno, og to prinser af Podolia, Alexander og Boris - accepterede Ludvigs overherredømme.