Casimiro III de Polonia instó a Luis a intervenir en su guerra con los lituanos que habían ocupado Brest, Volodymyr-Volynskyi y otras ciudades importantes en Halych y Lodomeria en los años anteriores.Los dos monarcas acordaron que Halych y Lodomeria se integrarían en el Reino de Hungría después de la muerte de Casimiro.Louis dirigió su ejército a Cracovia en junio de 1351. Debido a que Casimir enfermó, Louis se convirtió en el único comandante del ejército polaco y húngaro unido.Invadió las tierras del príncipe lituano Kęstutis en julio.Kęstutis aparentemente aceptó la soberanía de Louis el 15 de agosto y acordó ser bautizado, junto con sus hermanos, en Buda.Sin embargo, Kęstutis no hizo nada para cumplir sus promesas después de la retirada de las tropas polacas y húngaras.En un intento de capturar Kęstutis, Louis regresó, pero no pudo derrotar a los lituanos, quienes incluso mataron a uno de sus aliados, Boleslao III de Płock, en la batalla.Louis regresó a Buda antes del 13 de septiembre.Casimiro III sitió Belz y Luis se unió a su tío en marzo de 1352. Durante el asedio, que terminó sin la rendición del fuerte, Luis resultó gravemente herido en la cabeza.Algirdas, gran duque de Lituania, contrató a mercenarios tártaros que irrumpieron en Podolia, Luis regresó a Hungría porque temía una invasión tártara de Transilvania.El Papa Clemente proclamó una cruzada contra los lituanos y los tártaros en mayo, autorizando a Luis a recaudar un diezmo de los ingresos de la Iglesia durante los próximos cuatro años.