Casimir III av Polen uppmanade Ludvig att ingripa i sitt krig med litauerna som hade ockuperat Brest, Volodymyr-Volynskyi och andra viktiga städer i Halych och Lodomeria under de föregående åren.De två monarkerna kom överens om att Halych och Lodomeria skulle integreras i kungariket Ungern efter Casimirs död.Ludvig ledde sin armé till Krakow i juni 1351. Eftersom Casimir blev sjuk blev Ludvig ensam befälhavare för den förenade polska och ungerska armén.Han invaderade den litauiske prinsen Kęstutis land i juli.Kęstutis accepterade till synes Ludvigs överhöghet den 15 augusti och gick med på att bli döpt, tillsammans med sina bröder, i Buda.Kęstutis gjorde dock ingenting för att uppfylla sina löften efter att polska och ungerska trupper drogs tillbaka.I ett försök att fånga Kęstutis återvände Ludvig, men han kunde inte besegra litauerna, som till och med dödade en av hans allierade, Boleslaus III av Płock, i strid.Louis återvände till Buda före den 13 septemberCasimir III belägrade Belz och Ludvig anslöt sig till sin farbror i mars 1352. Under belägringen, som slutade utan att fortet överlämnades, skadades Ludvig svårt i huvudet.Algirdas, storhertig av Litauen, anställde tatariska legosoldater som stormade in i Podolia, Ludvig återvände till Ungern eftersom han fruktade en tatarisk invasion av Transsylvanien.Påven Clement proklamerade ett korståg mot litauerna och tatarerna i maj och bemyndigade Ludvig att samla in ett tionde från kyrkans inkomster under de kommande fyra åren.