Puolan Casimir III kehotti Louisia puuttumaan sotaan Brestin, Volodymyr-Volynskyin ja muita tärkeitä kaupunkeja Halychissa ja Lodomeriassa edellisinä vuosina miehittäneiden liettualaisten kanssa.Molemmat hallitsijat sopivat, että Halych ja Lodomeria liitetään Unkarin kuningaskuntaan Kasimirin kuoleman jälkeen.Louis johti armeijansa Krakovaan kesäkuussa 1351. Koska Casimir sairastui, Louisista tuli Puolan ja Unkarin yhdistyneen armeijan ainoa komentaja.Hän hyökkäsi liettualaisen prinssin Kęstutiksen maihin heinäkuussa.Kęstutis ilmeisesti hyväksyi Louisin ylivallan 15. elokuuta ja suostui menemään kasteelle yhdessä veljiensä kanssa Budassa.Kęstutis ei kuitenkaan tehnyt mitään lupauksensa täyttämiseksi Puolan ja Unkarin joukkojen vetäytymisen jälkeen.Yrittäessään vangita Kęstutiksen Louis palasi, mutta hän ei pystynyt kukistamaan liettualaisia, jotka jopa tappoivat yhden hänen liittolaisistaan, Boleslaus III Płockista taistelussa.Louis palasi Budaan ennen syyskuun 13. päivääCasimir III piiritti Belzin ja Louis liittyi setänsä luo maaliskuussa 1352. Piirin aikana, joka päättyi ilman linnoituksen antautumista, Louis loukkaantui vakavasti päähänsä.Liettuan suurruhtinas Algirdas palkkasi tataarien palkkasoturit, jotka ryntäsivät Podoliaan, Louis palasi Unkariin, koska hän pelkäsi tataarien hyökkäystä Transilvaniaan.Paavi Klemens julisti toukokuussa ristiretken liettualaisia ​​ja tataareja vastaan ​​ja valtuutti Louisin keräämään kymmenykset kirkon tuloista seuraavien neljän vuoden aikana.