Casimir III dari Polandia mendesak Louis untuk campur tangan dalam perangnya dengan orang-orang Lituania yang menduduki Brest, Volodymyr-Volynskyi, dan kota-kota penting lainnya di Halych dan Lodomeria pada tahun-tahun sebelumnya.Kedua raja setuju bahwa Halych dan Lodomeria akan diintegrasikan ke dalam Kerajaan Hongaria setelah kematian Casimir.Lajos memimpin pasukannya ke Krakow pada bulan Juni 1351. Karena Casimir jatuh sakit, Lajos menjadi satu-satunya komandan pasukan gabungan Polandia dan Hongaria.Dia menginvasi tanah pangeran Lituania, Kęstutis, pada bulan Juli.Kęstutis tampaknya menerima kekuasaan raja Lajos pada tanggal 15 Agustus dan setuju untuk dibaptis, bersama dengan saudara-saudaranya, di Buda.Namun, Kęstutis tidak melakukan apa pun untuk memenuhi janjinya setelah pasukan Polandia dan Hongaria ditarik.Dalam upaya untuk merebut Kęstutis, Lajos kembali, tetapi ia tidak dapat mengalahkan orang-orang Lituania, yang bahkan membunuh salah satu sekutunya, Boleslaus III dari Płock, dalam pertempuran.Louis kembali ke Buda sebelum 13 SeptemberCasimir III mengepung Belz dan Louis bergabung dengan pamannya pada Maret 1352. Selama pengepungan, yang berakhir tanpa penyerahan benteng, Louis terluka parah di kepalanya.Algirdas, Adipati Agung Lituania, menyewa tentara bayaran Tatar yang menyerbu ke Podolia, Lajos kembali ke Hongaria karena dia takut akan invasi Tatar ke Transilvania.Paus Clement mengumumkan perang salib melawan Lituania dan Tatar pada bulan Mei, mengizinkan Louis untuk mengumpulkan persepuluhan dari pendapatan Gereja selama empat tahun berikutnya.