III. lengyel Kázmér sürgette Lajost, hogy avatkozzon be a litvánokkal folytatott háborújába, akik az előző években elfoglalták Bresztet, Volodimir-Volynszkijt és más fontos Halics és Lodomeria városokat.A két uralkodó megállapodott abban, hogy Halics és Lodomeria Kázmér halála után beépül a Magyar Királyságba.Lajos 1351 júniusában Krakkóba vezette seregét. Mivel Kázmér megbetegedett, Lajos lett az egyesült lengyel és magyar hadsereg egyedüli parancsnoka.Júliusban betört a litván herceg, Kęstutis földjére.Kęstutis augusztus 15-én látszólag elfogadta Lajos szuzerenitását, és beleegyezett, hogy testvéreivel együtt Budán megkeresztelkedjen.A lengyel és a magyar csapatok kivonása után azonban Kęstutis semmit sem tett ígéreteinek betartása érdekében.Kęstutist el akarva ejteni, Lajos visszatért, de nem tudta legyőzni a litvánokat, akik még egyik szövetségesét, III. Płock Boleslaust is megölték a csatában.Lajos szeptember 13. előtt visszatért BudáraIII. Kázmér ostrom alá vette Belzet, Lajos pedig 1352 márciusában csatlakozott nagybátyjához. Az ostrom során, amely az erőd feladása nélkül ért véget, Lajos súlyosan megsérült a fején.Algirdas litván nagyfejedelem tatár zsoldosokat fogadott fel, akik berontottak Podóliába, Lajos visszatért Magyarországra, mert tartott egy erdélyi tatár inváziótól.Kelemen pápa májusban keresztes hadjáratot hirdetett a litvánok és a tatárok ellen, felhatalmazva Lajost, hogy a következő négy évben tizedet szedjen be az egyházi bevételekből.