Польський король Казимир III спонукав Людовіка втрутитися у його війну з литовцями, які в попередні роки зайняли Брест, Володимир-Волинський та інші важливі міста Галича та Лодомерії.Обидва монархи домовилися, що після смерті Казимира Галич і Лодомерія будуть включені до складу Угорського королівства.У червні 1351 р. Людовик привів свою армію до Кракова. Оскільки Казимир захворів, Людовик став єдиним командиром об’єднаної польсько-угорської армії.Він у липні вторгся на землі литовського князя Кейстута.Кейстут, мабуть, прийняв сюзеренітет Людовика 15 серпня і погодився охреститися разом зі своїми братами в Буді.Однак Кейстут нічого не зробив для виконання своїх обіцянок після виведення польських та угорських військ.Намагаючись захопити Кейстута, Людовик повернувся, але не зміг перемогти литовців, які навіть убили в битві одного зі своїх союзників, Болеслава III Плоцького.Людовик повернувся в Буду до 13 вересняКазимир III обложив Белз, і Людовик приєднався до свого дядька в березні 1352 року. Під час облоги, яка закінчилася без здачі форту, Людовик отримав важке поранення в голову.Ольгерд, великий князь литовський, найняв татарських найманців, які увірвалися на Поділля, Людовик повернувся до Угорщини, бо боявся татарської навали на Трансільванію.Папа Климент оголосив хрестовий похід проти литовців і татар у травні, дозволивши Людовику збирати десятину з церковних доходів протягом наступних чотирьох років.