Ο Casimir III της Πολωνίας προέτρεψε τον Λουδοβίκο να παρέμβει στον πόλεμο του με τους Λιθουανούς που είχαν καταλάβει το Brest, το Volodymyr-Volynskyi και άλλες σημαντικές πόλεις στο Halych και τη Lodomeria τα προηγούμενα χρόνια.Οι δύο μονάρχες συμφώνησαν ότι ο Halych και η Lodomeria θα ενσωματωθούν στο Βασίλειο της Ουγγαρίας μετά το θάνατο του Casimir.Ο Λουδοβίκος οδήγησε τον στρατό του στην Κρακοβία τον Ιούνιο του 1351. Επειδή ο Καζιμίρ αρρώστησε, ο Λούις έγινε ο μοναδικός διοικητής του ενιαίου Πολωνικού και Ουγγρικού στρατού.Εισέβαλε στα εδάφη του λιθουανού πρίγκιπα, Kęstutis, τον Ιούλιο.Ο Kęstutis φαινομενικά αποδέχτηκε την επικυριαρχία του Louis στις 15 Αυγούστου και συμφώνησε να βαφτιστεί, μαζί με τα αδέρφια του, στη Βούδα.Ωστόσο, ο Kęstutis δεν έκανε τίποτα για να εκπληρώσει τις υποσχέσεις του μετά την αποχώρηση των πολωνικών και ουγγρικών στρατευμάτων.Σε μια προσπάθεια να συλλάβει τον Kęstutis, ο Λουδοβίκος επέστρεψε, αλλά δεν μπόρεσε να νικήσει τους Λιθουανούς, οι οποίοι σκότωσαν ακόμη και έναν από τους συμμάχους του, τον Boleslaus III του Płock, στη μάχη.Ο Λούις επέστρεψε στη Βούδα πριν από τις 13 ΣεπτεμβρίουΟ Casimir III πολιόρκησε τον Belz και ο Louis ενώθηκε με τον θείο του τον Μάρτιο του 1352. Κατά τη διάρκεια της πολιορκίας, που έληξε χωρίς την παράδοση του οχυρού, ο Louis τραυματίστηκε βαριά στο κεφάλι του.Ο Αλγκίρντας, Μέγας Δούκας της Λιθουανίας, προσέλαβε Τατάρους μισθοφόρους που εισέβαλαν στην Ποντόλια, ο Λουδοβίκος επέστρεψε στην Ουγγαρία επειδή φοβόταν την εισβολή των Τατάρων στην Τρανσυλβανία.Ο Πάπας Κλήμης κήρυξε μια σταυροφορία κατά των Λιθουανών και των Τατάρων τον Μάιο, εξουσιοδοτώντας τον Λουδοβίκο να εισπράξει ένα δέκατο από τα έσοδα της Εκκλησίας κατά τα επόμενα τέσσερα χρόνια.