Казимир III из Польши призвал Людовика вмешаться в его войну с литовцами, которые в предыдущие годы оккупировали Брест, Владимир-Волынский и другие важные города Галича и Лодомерии.Два монарха договорились, что Галич и Лодомерия будут включены в состав Венгерского королевства после смерти Казимира.Людовик привел свою армию в Краков в июне 1351 года. Поскольку Казимир заболел, Людовик стал единоличным командующим объединенной польско-венгерской армией.В июле он вторгся в земли литовского князя Кестутиса.Кястутис, по-видимому, принял сюзеренитет Людовика 15 августа и согласился креститься вместе со своими братьями в Буде.Однако Кястутис ничего не сделал для выполнения своих обещаний после вывода польских и венгерских войск.При попытке захватить Кестутис Людовик вернулся, но не смог победить литовцев, которые даже убили в бою одного из его союзников, Болеслава III Плоцкого.Луи вернулся в Буду до 13 сентября.Казимир III осадил Белз, и Людовик присоединился к своему дяде в марте 1352 года. Во время осады, которая закончилась без сдачи форта, Людовик был тяжело ранен в голову.Великий князь литовский Альгирдас нанял татарских наемников, которые ворвались в Подолию, Людовик вернулся в Венгрию, опасаясь татарского вторжения в Трансильванию.В мае папа Климент объявил крестовый поход против литовцев и татар, разрешив Людовику собирать десятину из церковных доходов в течение следующих четырех лет.