Sedgwick trak sig tilbage over Rappahannock ved Banks's Ford i løbet af dagen før daggry den 5. maj. Da han fandt ud af, at Sedgwick havde trukket sig tilbage over floden, følte Hooker, at han var ude af muligheder for at redde kampagnen.Han kaldte et krigsråd og bad sine korpschefer om at stemme om, hvorvidt de skulle blive og kæmpe eller trække sig tilbage.Selvom et flertal stemte for at kæmpe, havde Hooker fået nok, og natten mellem den 5. og 6. maj trak han sig tilbage over floden ved US Ford.^[23]Det var en svær operation.Hooker og artilleriet krydsede først, efterfulgt af infanteriet, der begyndte kl. 6 om morgenen den 6. maj. Meades V Corps fungerede som bagvagt.Regn fik floden til at stige og truede med at bryde pontonbroerne.^[23]Couch havde kommandoen på den sydlige bred efter Hooker rejste, men han blev efterladt med udtrykkelige ordrer om ikke at fortsætte slaget, hvilket han var blevet fristet til at gøre.Den overraskende tilbagetrækning frustrerede Lees plan om et sidste angreb mod Chancellorsville.Han havde givet ordre til sit artilleri om at bombardere unionslinjen som forberedelse til endnu et angreb, men da de var klar, var Hooker og hans mænd væk.^[23]