Людовик запропонував відмовитися від Неаполітанського королівства, якщо Климент скине Іоанну з престолу.Після того, як папа відмовився, Людовик вирушив у свій другий неаполітанський похід у квітні 1350 року. Він придушив заколот, який стався серед його найманців, поки він та його війська чекали прибуття нових військ у Барлетті.Під час маршу до Неаполя він зіткнувся з опором у багатьох містах, оскільки його авангарди, які перебували під командуванням Стефана Лакфі, стали сумно відомими своєю жорстокістю.Під час походу Людовик особисто керував штурмами і разом зі своїми воїнами піднімався на міські стіни, наражаючи на небезпеку власне життя.Під час облоги Каноза ді Апулія Людовик впав у рів з драбини, коли захисник форту вдарив його каменем.Він без вагань пірнув у річку, щоб врятувати молодого солдата, якого за його наказом віднесло під час розвідки броду.Під час облоги Аверси стріла пробила ліву ногу Людовика.Після захоплення Аверси угорськими військами 3 серпня королева Йоанна та її чоловік знову втекли з Неаполя.Однак Людовік вирішив повернутися до Угорщини.За словами тогочасного історика Маттео Віллані, Людовик спробував «залишити королівство, не втративши обличчя» після того, як у нього закінчилися гроші та зазнав опору місцевого населення.