Louis foreslo å gi avkall på kongeriket Napoli hvis Clement avsatte Joanna.Etter at paven nektet, dro Ludvig til sitt andre napolitanske felttog i april 1350. Han undertrykte et mytteri som skjedde blant leiesoldatene hans mens han og troppene hans ventet på at flere tropper skulle komme til Barletta.Mens han marsjerte mot Napoli, møtte han motstand i mange byer fordi fortroppene hans, som var under kommando av Stephen Lackfi, var blitt beryktet for sin grusomhet.Under kampanjen ledet Louis personlig overgrep og klatret opp bymurene sammen med soldatene sine, og satte hans eget liv i fare.Mens han beleiret Canosa di Puglia, falt Louis ned i vollgraven fra en stige da en forsvarer av fortet slo ham med en stein.Han dukket ned i en elv uten å nøle for å redde en ung soldat som ble feid bort mens han utforsket et vadested etter ordre.En pil gjennomboret Louis sitt venstre ben under beleiringen av Aversa.Etter Aversas fall for ungarske tropper 3. august, flyktet dronning Joanna og mannen hennes igjen fra Napoli.Imidlertid bestemte Louis seg for å returnere til Ungarn.I følge den samtidige historikeren Matteo Villani forsøkte Louis å "forlate kongeriket uten å miste ansikt" etter at han hadde gått tom for penger og opplevd motstanden fra lokalbefolkningen.