Louis mengusulkan untuk meninggalkan Kerajaan Napoli jika Clement mencopot Joanna.Setelah paus menolak, Louis berangkat untuk kampanye Neapolitan keduanya pada bulan April 1350. Dia menekan pemberontakan yang terjadi di antara tentara bayarannya sementara dia dan pasukannya menunggu kedatangan pasukan lebih lanjut di Barletta.Saat berbaris menuju Napoli, dia menghadapi perlawanan di banyak kota karena barisan depan, yang berada di bawah komando Stephen Lackfi, menjadi terkenal karena kekejaman mereka.Selama kampanye, Louis secara pribadi memimpin penyerangan dan memanjat tembok kota bersama tentaranya, membahayakan nyawanya sendiri.Saat mengepung Canosa di Puglia, Louis jatuh ke parit dari tangga ketika seorang penjaga benteng memukulnya dengan batu.Dia terjun ke sungai tanpa ragu untuk menyelamatkan seorang prajurit muda yang hanyut saat menjelajahi arungan atas perintahnya.Sebuah panah menembus kaki kiri Louis selama pengepungan Aversa.Setelah jatuhnya Aversa ke tangan pasukan Hongaria pada tanggal 3 Agustus, Ratu Joanna dan suaminya kembali melarikan diri dari Napoli.Namun, Louis memutuskan untuk kembali ke Hongaria.Menurut sejarawan kontemporer Matteo Villani, Louis berusaha untuk "meninggalkan kerajaan tanpa kehilangan muka" setelah dia kehabisan uang dan mengalami perlawanan dari penduduk setempat.