Sedgwick mundur melintasi Rappahannock di Banks's Ford pada dini hari tanggal 5 Mei. Ketika dia mengetahui bahwa Sedgwick telah mundur kembali ke sungai, Hooker merasa dia tidak punya pilihan untuk menyelamatkan kampanye.Dia memanggil dewan perang dan meminta komandan korpsnya untuk memilih apakah akan tinggal dan berperang atau mundur.Meskipun mayoritas memilih untuk bertarung, Hooker sudah muak, dan pada malam tanggal 5–6 Mei, dia mundur ke seberang sungai di US Ford.^[23]Itu adalah operasi yang sulit.Pelacur dan artileri menyeberang lebih dulu, diikuti oleh infanteri mulai pukul 6 pagi tanggal 6 Mei. Korps V Meade bertugas sebagai barisan belakang.Hujan menyebabkan air sungai meluap dan mengancam jembatan ponton putus.^[23]Couch memegang komando di tepi selatan setelah Hooker pergi, tetapi dia ditinggalkan dengan perintah eksplisit untuk tidak melanjutkan pertempuran, yang dia tergoda untuk melakukannya.Penarikan mendadak itu menggagalkan rencana Lee untuk satu serangan terakhir melawan Chancellorsville.Dia telah mengeluarkan perintah untuk artilerinya untuk membombardir garis Union sebagai persiapan untuk serangan lain, tetapi pada saat mereka siap, Hooker dan anak buahnya telah pergi.^[23]