Казимир III от Полша призова Луи да се намеси във войната му с литовците, които бяха окупирали Брест, Владимир-Волински и други важни градове в Халич и Лодомерия през предходните години.Двамата монарси се споразумяха Халич и Лодомерия да бъдат интегрирани в Унгарското кралство след смъртта на Казимир.Луи повежда армията си към Краков през юни 1351 г. Тъй като Казимир се разболява, Луи става единственият командир на обединената полска и унгарска армия.Той нахлува в земите на литовския княз Кестутис през юли.Кестутис привидно приема сюзеренитета на Луи на 15 август и се съгласява да бъде кръстен, заедно с братята си, в Буда.Въпреки това Кейстутис не направи нищо, за да изпълни обещанията си, след като полските и унгарските войски бяха изтеглени.В опит да залови Кестутис, Луи се завръща, но не успява да победи литовците, които дори убиват един от неговите съюзници, Болеслав III от Плоцк, в битка.Луи се завръща в Буда преди 13 септемвриКазимир III обсажда Белц и Луи се присъединява към чичо си през март 1352 г. По време на обсадата, която завършва без предаване на крепостта, Луи е тежко ранен в главата си.Алгирдас, великият херцог на Литва, наел татарски наемници, които нахлули в Подолия, Луи се върнал в Унгария, защото се страхувал от татарско нашествие в Трансилвания.Папа Климент обяви кръстоносен поход срещу литовците и татарите през май, упълномощавайки Луис да събира десятък от църковните приходи през следващите четири години.