Польскі караль Казімір III заклікаў Людовіка ўмяшацца ў яго вайну з літоўцамі, якія ў папярэднія гады занялі Брэст, Уладзімір-Валынскі і іншыя важныя гарады ў Галічы і Ладамерыі.Абодва манархі дамовіліся аб тым, што Галіч і Ладамерыя пасля смерці Казіміра ўвойдуць у склад Венгерскага каралеўства.Людовік павёў сваё войска на Кракаў у чэрвені 1351 г. Паколькі Казімір захварэў, Людовік стаў адзіным камандзірам аб'яднанага польска-венгерскага войска.У ліпені ён уварваўся ў землі літоўскага князя Кейстута.15 жніўня Кейстут, здавалася, прыняў сюзерэнітэт Людовіка і пагадзіўся хрысціцца разам са сваімі братамі ў Будзе.Аднак пасля адыходу польскіх і венгерскіх войск Кейстут нічога не зрабіў для выканання сваіх абяцанняў.Спрабуючы захапіць Кейстута, Людовік вярнуўся, але не змог перамагчы літоўцаў, якія нават забілі ў баі аднаго са сваіх саюзнікаў Баляслава III Плоцкага.Людовік вярнуўся ў Буду да 13 верасняКазімір III аблажыў Белз, і Людовік далучыўся да свайго дзядзькі ў сакавіку 1352 г. Падчас аблогі, якая скончылася без здачы крэпасці, Людовік атрымаў цяжкую траўму ў галаву.Вялікі князь літоўскі Альгерд наняў татарскіх наймітаў, якія ўварваліся на Падолле, Людовік вярнуўся ў Венгрыю, бо баяўся татарскага нашэсця на Трансільванію.Папа Клімент абвясціў крыжовы паход супраць літоўцаў і татараў у маі, дазволіўшы Людовіку збіраць дзесяціну з царкоўных даходаў на працягу наступных чатырох гадоў.