Casimir III van Polen drong er bij Lodewijk op aan tussenbeide te komen in zijn oorlog met de Litouwers die in de voorgaande jaren Brest, Volodymyr-Volynskyi en andere belangrijke steden in Halych en Lodomeria hadden bezet.De twee vorsten waren het erover eens dat Halych en Lodomeria na de dood van Casimir in het Koninkrijk Hongarije zouden worden geïntegreerd.Louis leidde zijn leger in juni 1351 naar Krakau. Omdat Casimir ziek werd, werd Louis de enige commandant van het verenigde Poolse en Hongaarse leger.Hij viel in juli het land van de Litouwse prins Kęstutis binnen.Kęstutis accepteerde schijnbaar de heerschappij van Lodewijk op 15 augustus en stemde ermee in om, samen met zijn broers, in Buda te worden gedoopt.Kęstutis deed echter niets om zijn beloften na te komen nadat de Poolse en Hongaarse troepen waren teruggetrokken.In een poging Kęstutis gevangen te nemen, keerde Louis terug, maar hij kon de Litouwers niet verslaan, die zelfs een van zijn bondgenoten, Boleslaus III van Płock, in de strijd doodden.Louis keerde vóór 13 september terug naar BudaCasimir III belegerde Belz en Louis voegde zich in maart 1352 bij zijn oom. Tijdens het beleg, dat eindigde zonder de overgave van het fort, raakte Louis zwaar gewond aan zijn hoofd.Algirdas, groothertog van Litouwen, huurde Tataarse huurlingen in die Podolië binnenstormden, Lodewijk keerde terug naar Hongarije omdat hij vreesde voor een Tataarse invasie van Transsylvanië.Paus Clemens riep in mei een kruistocht tegen de Litouwers en de Tataren uit en machtigde Lodewijk om gedurende de volgende vier jaar een tiende van de kerkinkomsten te innen.