Poljski Kazimir III. pozvao je Ludovika da se umiješa u njegov rat s Litavcima koji su prethodnih godina zauzeli Brest, Volodymyr-Volynskyi i druge važne gradove u Halychu i Lodomeriji.Dva su se monarha složila da će Halič i Lodomerija biti integrirani u Ugarsko kraljevstvo nakon Kazimirove smrti.Ludovik je poveo svoju vojsku na Krakov u lipnju 1351. Budući da se Kazimir razbolio, Ludovik je postao jedini zapovjednik ujedinjene poljske i ugarske vojske.U srpnju je napao zemlje litvanskog kneza Kęstutisa.Kestutis je naizgled prihvatio Ludovikovo vrhovništvo 15. kolovoza i pristao da bude kršten, zajedno sa svojom braćom, u Budimu.Međutim, Kęstutis nije učinio ništa da ispuni svoja obećanja nakon što su se poljske i mađarske trupe povukle.U pokušaju da zarobi Kęstutisa, Ludovik se vratio, ali nije mogao poraziti Litvance, koji su čak ubili jednog od njegovih saveznika, Boleslava III od Płocka, u bitci.Louis se vratio u Budim prije 13. rujnaKazimir III je opsjeo Belz, a Ludovik se pridružio svom ujaku u ožujku 1352. Tijekom opsade, koja je završila bez predaje tvrđave, Ludovik je teško ozlijeđen u glavu.Algirdas, veliki knez Litve, unajmio je tatarske plaćenike koji su upali u Podoliju, Ludovik se vratio u Ugarsku jer se bojao tatarske invazije na Transilvaniju.Papa Klement proglasio je križarski rat protiv Litavaca i Tatara u svibnju, ovlastivši Luja da ubira desetinu od crkvenih prihoda tijekom sljedeće četiri godine.