Casimir III da Polônia instou Louis a intervir em sua guerra com os lituanos que ocuparam Brest, Volodymyr-Volynskyi e outras cidades importantes em Halych e Lodomeria nos anos anteriores.Os dois monarcas concordaram que Halych e Lodomeria seriam integrados ao Reino da Hungria após a morte de Casimir.Louis liderou seu exército para Cracóvia em junho de 1351. Como Casimir adoeceu, Louis se tornou o único comandante do exército unido polonês e húngaro.Ele invadiu as terras do príncipe lituano, Kęstutis, em julho.Kęstutis aparentemente aceitou a suserania de Louis em 15 de agosto e concordou em ser batizado, junto com seus irmãos, em Buda.No entanto, Kęstutis não fez nada para cumprir suas promessas depois que as tropas polonesas e húngaras foram retiradas.Na tentativa de capturar Kęstutis, Luís voltou, mas não conseguiu derrotar os lituanos, que chegaram a matar um de seus aliados, Boleslaus III de Płock, em batalha.Louis voltou a Buda antes de 13 de setembroCasimiro III sitiou Belz e Luís juntou-se a seu tio em março de 1352. Durante o cerco, que terminou sem a rendição do forte, Luís foi gravemente ferido na cabeça.Algirdas, grão-duque da Lituânia, contratou mercenários tártaros que invadiram a Podólia. Luís voltou para a Hungria porque temia uma invasão tártara da Transilvânia.O Papa Clemente proclamou uma cruzada contra os lituanos e os tártaros em maio, autorizando Louis a coletar um dízimo das receitas da Igreja durante os próximos quatro anos.