Litwini napadli na Halicz, Lodomerię i Polskę, docierając prawie do Krakowa w listopadzie 1376 r. W Krakowie wybuchły zamieszki przeciwko niepopularnej królowej matce Elżbiecie 6 grudnia.Buntownicy zamordowali około 160 służących królowej-matki, zmuszając ją do ucieczki na Węgry.Wykorzystując sytuację, Władysław Biały, książę gniewkowski, który był męskim przedstawicielem królewskiej dynastii Piastów, ogłosił swoje roszczenia do korony polskiej.Jednak partyzanci Ludwika pokonali pretendenta, a Ludwik mianował go opatem arcyopactwa Pannonhalma na Węgrzech.Ludwik mianował Władysława II Opolskiego swoim namiestnikiem w Polsce.Latem 1377 roku Ludwik najechał ziemie księcia litewskiego Jerzego w Lodomerii.Jego polskie wojska wkrótce zdobyły Chełm, a Ludwik zajął Bełz, po oblężeniu go przez siedem tygodni.Włączył okupowane ziemie Lodomerii wraz z Galicją do Królestwa Węgier.Trzech książąt litewskich – Fedor, książę ratneński oraz dwóch książąt podolskich, Aleksander i Borys – przyjęło zwierzchnictwo Ludwika.