Polonya Kralı III. Casimir, Louis'i önceki yıllarda Brest, Volodymyr-Volynskyi ve Halych ve Lodomeria'daki diğer önemli kasabaları işgal eden Litvanyalılarla savaşına müdahale etmeye çağırdı.İki hükümdar, Halych ve Lodomeria'nın Casimir'in ölümünden sonra Macaristan Krallığı'na entegre edilmesi konusunda anlaştılar.Louis, ordusunu Haziran 1351'de Krakov'a götürdü. Casimir hastalanınca Louis, birleşik Polonya ve Macar ordusunun tek komutanı oldu.Temmuz ayında Litvanya prensi Kęstutis'in topraklarını işgal etti.Kęstutis görünüşe göre 15 Ağustos'ta Louis'in hükümdarlığını kabul etti ve kardeşleriyle birlikte Buda'da vaftiz edilmeyi kabul etti.Ancak Kęstutis, Polonya ve Macar birlikleri geri çekildikten sonra sözlerini yerine getirmek için hiçbir şey yapmadı.Louis, Kęstutis'i ele geçirme girişiminde geri döndü, ancak müttefiklerinden biri olan Płock'lu III. Boleslaus'u savaşta öldüren Litvanyalıları yenemedi.Louis, 13 Eylül'den önce Buda'ya döndüCasimir III, Belz'i kuşattı ve Louis, Mart 1352'de amcasına katıldı. Kale teslim olmadan sona eren kuşatma sırasında Louis, başından ağır yaralandı.Litvanya Büyük Dükü Algirdas, Podolya'ya baskın yapan Tatar paralı askerlerini kiraladı, Louis, Tatarların Transilvanya'yı işgalinden korktuğu için Macaristan'a döndü.Papa Clement, Mayıs ayında Litvanyalılara ve Tatarlara karşı bir haçlı seferi ilan ederek Louis'e önümüzdeki dört yıl boyunca Kilise gelirlerinden ondalık toplama yetkisi verdi.