Casimir III của Ba Lan thúc giục Louis can thiệp vào cuộc chiến của ông với người Litva đã chiếm đóng Brest, Volodymyr-Volynskyi và các thị trấn quan trọng khác ở Halych và Lodomeria trong những năm trước.Hai quốc vương đồng ý rằng Halych và Lodomeria sẽ được hợp nhất vào Vương quốc Hungary sau cái chết của Casimir.Louis dẫn quân đến Cracow vào tháng 6 năm 1351. Vì Casimir bị ốm nên Louis trở thành chỉ huy duy nhất của quân đội thống nhất Ba Lan và Hungary.Anh ta xâm chiếm vùng đất của hoàng tử Litva, Kęstutis, vào tháng Bảy.Kęstutis dường như đã chấp nhận quyền thống trị của Louis vào ngày 15 tháng 8 và đồng ý chịu lễ rửa tội cùng với các anh trai của mình ở Buda.Tuy nhiên, Kęstutis đã không làm gì để thực hiện lời hứa của mình sau khi quân đội Ba Lan và Hungary rút đi.Trong nỗ lực chiếm Kęstutis, Louis đã quay trở lại, nhưng ông không thể đánh bại quân Litva, những người thậm chí đã giết một trong những đồng minh của ông, Boleslaus III của Płock, trong trận chiến.Louis trở lại Buda trước ngày 13 tháng 9Casimir III bao vây Belz và Louis tham gia cùng chú của mình vào tháng 3 năm 1352. Trong cuộc bao vây kết thúc mà không có pháo đài đầu hàng, Louis bị thương nặng ở đầu.Algirdas, Đại công tước của Litva, thuê lính đánh thuê người Tatar xông vào Podolia, Louis trở về Hungary vì lo sợ một cuộc xâm lược của người Tatar vào Transylvania.Giáo hoàng Clement đã tuyên bố một cuộc thập tự chinh chống lại người Litva và người Tatar vào tháng 5, ủy quyền cho Louis thu một phần mười từ doanh thu của Giáo hội trong bốn năm tới.