Kazimierz III RP wezwał Ludwika do interwencji w jego wojnie z Litwinami, którzy w poprzednich latach okupowali Brześć, Włodzimierz Wołyński i inne ważne miasta Halicza i Lodomerii.Obaj monarchowie zgodzili się, że Halicz i Lodomeria zostaną włączone do Królestwa Węgier po śmierci Kazimierza.Ludwik poprowadził swoje wojska pod Kraków w czerwcu 1351 r. W związku z chorobą Kazimierza Ludwik został jedynym dowódcą zjednoczonych wojsk polsko-węgierskich.W lipcu najechał ziemie księcia litewskiego Kiejstuta.Kęstutis najwyraźniej przyjął zwierzchnictwo Ludwika 15 sierpnia i zgodził się wraz z braćmi na chrzest w Budzie.Jednak Kęstutis nie zrobił nic, aby spełnić swoje obietnice po wycofaniu wojsk polskich i węgierskich.Próbując zdobyć Kęstutis, Ludwik wrócił, ale nie mógł pokonać Litwinów, którzy nawet zabili w bitwie jednego z jego sojuszników, Bolesława III Płockiego.Louis wrócił do Budy przed 13 wrześniaKazimierz III oblegał Bełz, a Ludwik dołączył do swojego wuja w marcu 1352 r. Podczas oblężenia, które zakończyło się bez poddania twierdzy, Ludwik został ciężko ranny w głowę.Olgirdas, wielki książę litewski, wynajął tatarskich najemników, którzy wtargnęli na Podole, Ludwik wrócił na Węgry w obawie przed najazdem Tatarów na Siedmiogród.Papież Klemens ogłosił w maju krucjatę przeciwko Litwinom i Tatarom, upoważniając Ludwika do pobierania dziesięciny z dochodów Kościoła przez następne cztery lata.