Casimir III af Polen opfordrede Ludvig til at gribe ind i hans krig med litauerne, der havde besat Brest, Volodymyr-Volynskyi og andre vigtige byer i Halych og Lodomeria i de foregående år.De to monarker blev enige om, at Halych og Lodomeria ville blive integreret i kongeriget Ungarn efter Casimirs død.Louis førte sin hær til Krakow i juni 1351. Fordi Casimir blev syg, blev Ludvig den eneste øverstbefalende for den forenede polske og ungarske hær.Han invaderede den litauiske prins Kęstutis' land i juli.Kęstutis accepterede tilsyneladende Ludvigs overherredømme den 15. august og indvilligede i at blive døbt sammen med sine brødre i Buda.Kęstutis gjorde dog intet for at opfylde sine løfter, efter at polske og ungarske tropper blev trukket tilbage.I et forsøg på at fange Kęstutis vendte Louis tilbage, men han kunne ikke besejre litauerne, som endda dræbte en af ​​hans allierede, Boleslaus III af Płock, i kamp.Louis vendte tilbage til Buda før den 13. septemberCasimir III belejrede Belz og Ludvig sluttede sig til sin onkel i marts 1352. Under belejringen, som endte uden overgivelsen af ​​fortet, blev Ludvig hårdt såret i hovedet.Algirdas, storhertug af Litauen, hyrede tatariske lejesoldater, der stormede ind i Podolia, Louis vendte tilbage til Ungarn, fordi han frygtede en tatarisk invasion af Transsylvanien.Pave Clemens proklamerede et korstog mod litauerne og tatarerne i maj og bemyndigede Louis til at opkræve en tiende fra kirkens indtægter i løbet af de næste fire år.