Kasimir III. von Polen forderte Ludwig auf, in seinen Krieg mit den Litauern einzugreifen, die in den vergangenen Jahren Brest, Wolodymyr-Wolynskyj und andere wichtige Städte in Halytsch und Lodomerien besetzt hatten.Die beiden Monarchen einigten sich darauf, dass Halych und Lodomeria nach Casimirs Tod in das Königreich Ungarn integriert würden.Ludwig führte seine Armee im Juni 1351 nach Krakau. Da Kasimir erkrankte, wurde Ludwig alleiniger Befehlshaber der vereinten polnischen und ungarischen Armee.Im Juli fiel er in das Land des litauischen Fürsten Kęstutis ein.Kęstutis akzeptierte offenbar am 15. August Ludwigs Oberhoheit und stimmte zu, sich zusammen mit seinen Brüdern in Buda taufen zu lassen.Nach dem Abzug der polnischen und ungarischen Truppen unternahm Kęstutis jedoch nichts, um seine Versprechen zu erfüllen.Bei dem Versuch, Kęstutis einzunehmen, kehrte Ludwig zurück, konnte die Litauer jedoch nicht besiegen, die sogar einen seiner Verbündeten, Boleslaus III. von Płock, im Kampf töteten.Louis kehrte vor dem 13. September nach Buda zurückKasimir III. belagerte Belz und Ludwig schloss sich im März 1352 seinem Onkel an. Während der Belagerung, die ohne Übergabe der Festung endete, wurde Ludwig schwer am Kopf verletzt.Algirdas, Großherzog von Litauen, heuerte tatarische Söldner an, die in Podolien stürmten, Ludwig kehrte nach Ungarn zurück, weil er eine tatarische Invasion in Siebenbürgen fürchtete.Papst Clemens rief im Mai einen Kreuzzug gegen die Litauer und Tataren aus und ermächtigte Ludwig, in den nächsten vier Jahren einen Zehnten aus den Einnahmen der Kirche zu erheben.