Cazimir al III-lea al Poloniei l-a îndemnat pe Ludovic să intervină în războiul său cu lituanienii care ocupaseră Brest, Volodymyr-Volynskyi și alte orașe importante din Halych și Lodomeria în anii precedenți.Cei doi monarhi au convenit ca Halych și Lodomeria să fie integrate în Regatul Ungariei după moartea lui Cazimir.Ludovic și-a condus armata la Cracovia în iunie 1351. Deoarece Cazimir s-a îmbolnăvit, Ludovic a devenit singurul comandant al armatei unite poloneze și maghiare.A invadat ținuturile prințului lituanian, Kęstutis, în iulie.Kęstutis a acceptat aparent suzeranitatea lui Ludovic pe 15 august și a acceptat să fie botezat, împreună cu frații săi, la Buda.Cu toate acestea, Kęstutis nu a făcut nimic pentru a-și îndeplini promisiunile după retragerea trupelor poloneze și maghiare.În încercarea de a-l captura pe Kęstutis, Ludovic s-a întors, dar nu a putut să-i învingă pe lituanieni, care chiar l-au ucis pe unul dintre aliații săi, Boleslau al III-lea de Płock, în luptă.Louis s-a întors la Buda înainte de 13 septembrieCazimir al III-lea l-a asediat pe Belz și Ludovic s-a alăturat unchiului său în martie 1352. În timpul asediului, care s-a încheiat fără predarea fortului, Ludovic a fost grav rănit la cap.Algirdas, Marele Duce al Lituaniei, a angajat mercenari tătari care au năvălit în Podolia, Ludovic s-a întors în Ungaria pentru că se temea de o invazie tătară a Transilvaniei.Papa Clement a proclamat o cruciadă împotriva lituanienilor și tătarilor în mai, autorizându-l pe Ludovic să încaseze o zecime din veniturile Bisericii în următorii patru ani.