Casimir III dari Poland menggesa Louis untuk campur tangan dalam peperangannya dengan orang Lithuania yang telah menduduki Brest, Volodymyr-Volynskyi, dan bandar-bandar penting lain di Halych dan Lodomeria pada tahun-tahun sebelumnya.Kedua-dua raja bersetuju bahawa Halych dan Lodomeria akan diintegrasikan ke dalam Kerajaan Hungary selepas kematian Casimir.Louis mengetuai tenteranya ke Cracow pada Jun 1351. Kerana Casimir jatuh sakit, Louis menjadi komander tunggal tentera Poland dan Hungary bersatu.Dia menyerang tanah putera Lithuania, Kęstutis, pada bulan Julai.Kęstutis nampaknya menerima kekuasaan Louis pada 15 Ogos dan bersetuju untuk dibaptis, bersama-sama dengan saudara-saudaranya, di Buda.Bagaimanapun, Kęstutis tidak melakukan apa-apa untuk memenuhi janjinya selepas tentera Poland dan Hungary ditarik balik.Dalam percubaan untuk menangkap Kęstutis, Louis kembali, tetapi dia tidak dapat mengalahkan orang Lithuania, yang bahkan membunuh salah seorang sekutunya, Boleslaus III dari Płock, dalam pertempuran.Louis kembali ke Buda sebelum 13 SeptemberCasimir III mengepung Belz dan Louis menyertai bapa saudaranya pada Mac 1352. Semasa pengepungan, yang berakhir tanpa penyerahan kubu, Louis cedera parah di kepalanya.Algirdas, Grand Duke of Lithuania, mengupah tentera upahan Tatar yang menyerbu ke Podolia, Louis kembali ke Hungary kerana dia takut serangan Tatar ke atas Transylvania.Pope Clement mengisytiharkan perang salib terhadap orang Lithuania dan Tatar pada bulan Mei, memberi kuasa kepada Louis untuk mengutip persepuluhan daripada pendapatan Gereja selama empat tahun akan datang.