Пољски Казимир ИИИ је позвао Луја да се умеша у његов рат са Литванцима који су претходних година заузели Брест, Володимир-Волински и друге важне градове у Халичу и Лодомерији.Двојица монарха су се сложила да ће Халич и Лодомерија бити интегрисани у Краљевину Угарску након Казимирове смрти.Луј је повео своју војску на Краков јуна 1351. Пошто се Казимир разболео, Луј је постао једини командант уједињене пољске и угарске војске.У јулу је извршио инвазију на земље литванског кнеза Кестутиса.Кестутис је наизглед прихватио Лујеву власт 15. августа и пристао да се, заједно са својом браћом, крсти у Будиму.Међутим, Кестутис није учинио ништа да испуни своја обећања након повлачења пољских и мађарских трупа.У покушају да ухвати Кестутиса, Луј се вратио, али није могао да победи Литванце, који су у бици чак убили једног од његових савезника, Болеслава ИИИ од Плоцка.Луј се вратио у Будим пре 13. септембраКазимир ИИИ је опседао Белз и Луј се придружио свом стрицу марта 1352. Током опсаде, која је завршена без предаје тврђаве, Луј је тешко повређен у главу.Алгирд, велики војвода Литваније, унајмио је татарске плаћенике који су упали у Подолију, Луј се вратио у Угарску јер се плашио инвазије Татара на Трансилванију.Папа Климент је у мају прогласио крсташки рат против Литванаца и Татара, овлашћујући Луја да прикупља десетину од црквених прихода током наредне четири године.