Casimir III av Polen oppfordret Louis til å gripe inn i krigen hans med litauerne som hadde okkupert Brest, Volodymyr-Volynskyi og andre viktige byer i Halych og Lodomeria de foregående årene.De to monarkene ble enige om at Halych og Lodomeria ville bli integrert i kongeriket Ungarn etter Casimirs død.Louis ledet hæren sin til Krakow i juni 1351. Fordi Casimir ble syk, ble Ludvig den eneste sjefen for den forente polske og ungarske hæren.Han invaderte landene til den litauiske prinsen Kęstutis i juli.Kęstutis aksepterte tilsynelatende Ludvigs overherredømme 15. august og gikk med på å bli døpt sammen med brødrene hans i Buda.Kęstutis gjorde imidlertid ingenting for å oppfylle løftene sine etter at polske og ungarske tropper ble trukket tilbake.I et forsøk på å fange Kęstutis kom Louis tilbake, men han kunne ikke beseire litauerne, som til og med drepte en av hans allierte, Boleslaus III av Płock, i kamp.Louis kom tilbake til Buda før 13. septemberCasimir III beleiret Belz og Ludvig sluttet seg til onkelen i mars 1352. Under beleiringen, som endte uten overgivelsen av fortet, ble Ludvig hardt skadet i hodet.Algirdas, storhertug av Litauen, leide tatariske leiesoldater som stormet inn i Podolia, Louis returnerte til Ungarn fordi han fryktet en tatarisk invasjon av Transylvania.Pave Clement proklamerte et korstog mot litauerne og tatarene i mai, og ga Ludvig fullmakt til å samle inn en tiende fra kirkens inntekter i løpet av de neste fire årene.