Polský Kazimír III. naléhal na Ludvíka, aby zasáhl do jeho války s Litevci, kteří v předchozích letech obsadili Brest, Volodymyr-Volynskyj a další důležitá města v Halychu a Lodomerii.Oba panovníci se dohodli, že Halych a Lodomeria budou po Kazimírově smrti začleněny do Uherského království.Ludvík vedl svou armádu do Krakova v červnu 1351. Protože Kazimír onemocněl, stal se Ludvík jediným velitelem spojené polské a uherské armády.V červenci napadl země litevského prince Kęstutise.Kęstutis zdánlivě přijal Ludvíkovu suverenitu 15. srpna a souhlasil s tím, že bude spolu se svými bratry pokřtěn v Budíně.Po stažení polských a maďarských jednotek však Kęstutis své sliby neudělal.Ve snaze zachytit Kęstutis se Ludvík vrátil, ale nedokázal porazit Litevce, kteří dokonce v bitvě zabili jednoho z jeho spojenců, Boleslava III. z Płocku.Louis se vrátil do Budy před 13. zářímCasimir III obléhal Belz a Ludvík se připojil ke svému strýci v březnu 1352. Během obléhání, které skončilo bez kapitulace pevnosti, byl Ludvík těžce zraněn na hlavě.Litevský velkovévoda Algirdas najal tatarské žoldáky, kteří vtrhli do Podolia, Ludvík se vrátil do Maďarska, protože se obával tatarské invaze do Transylvánie.Papež Klement vyhlásil v květnu křížovou výpravu proti Litevcům a Tatarům a pověřil Ludvíka vybírat desátek z církevních příjmů během příštích čtyř let.