Sedgwick se retiró a través del Rappahannock en Banks's Ford durante las horas previas al amanecer del 5 de mayo. Cuando se enteró de que Sedgwick se había retirado al otro lado del río, Hooker sintió que no tenía opciones para salvar la campaña.Convocó un consejo de guerra y pidió a los comandantes de sus cuerpos que votaran si quedarse y luchar o retirarse.Aunque la mayoría votó por pelear, Hooker ya había tenido suficiente, y en la noche del 5 al 6 de mayo, se retiró al otro lado del río en US Ford.^[23]Fue una operación difícil.Hooker y la artillería cruzaron primero, seguidos por la infantería a partir de las 6 am del 6 de mayo. El V Cuerpo de Meade sirvió como retaguardia.Las lluvias hicieron crecer el río y amenazaron con romper los puentes de pontones.^[23]Couch estaba al mando en la orilla sur después de la partida de Hooker, pero recibió órdenes explícitas de no continuar la batalla, lo que había tenido la tentación de hacer.La retirada sorpresa frustró el plan de Lee de un ataque final contra Chancellorsville.Había dado órdenes para que su artillería bombardeara la línea de la Unión en preparación para otro asalto, pero cuando estuvieron listos, Hooker y sus hombres se habían ido.^[23]