קזימיר השלישי מפולין האיץ בלואי להתערב במלחמתו עם הליטאים שכבשו את ברסט, וולודימיר-וולינסקי וערים חשובות אחרות בהליץ' ובלודומריה בשנים הקודמות.שני המלכים הסכימו שהליץ' ולודומריה ישולבו בממלכת הונגריה לאחר מותו של קזימיר.לואי הוביל את צבאו לקרקוב ביוני 1351. מכיוון שקזימיר חלה, הפך לואי למפקד היחיד של הצבא הפולני וההונגרי המאוחד.הוא פלש לאדמותיו של הנסיך הליטאי, Kęstutis, ביולי.קסטוטיס קיבל לכאורה את מרותו של לואי ב-15 באוגוסט והסכים להיטבל, יחד עם אחיו, בבודה.עם זאת, Kęstutis לא עשה דבר כדי למלא את הבטחותיו לאחר שהכוחות הפולנים וההונגרים נסוגו.בניסיון ללכוד את קסטוטיס חזר לואי, אך הוא לא הצליח להביס את הליטאים, שאף הרגו את אחד מבעלי בריתו, בולסלאוס השלישי מפלוק, בקרב.לואיס חזר לבודה לפני ה-13 בספטמברקזימיר השלישי הטיל מצור על בעלז ולואי הצטרף לדודו במרץ 1352. במהלך המצור, שהסתיים ללא כניעת המבצר, נפצע לואי קשות בראשו.אלגירדאס, הדוכס הגדול של ליטא, שכר שכירי חרב טטרים שהסתערו על פודוליה, לואי חזר להונגריה כי חשש מפלישה טטרית לטרנסילבניה.האפיפיור קלמנט הכריז במאי על מסע צלב נגד הליטאים והטטרים, ואישר לואיס לגבות מעשר מהכנסות הכנסייה במהלך ארבע השנים הבאות.