Sedgwick trok zich terug over de Rappahannock bij Banks' Ford tijdens de vroege ochtenduren van 5 mei. Toen hij hoorde dat Sedgwick zich had teruggetrokken over de rivier, had Hooker het gevoel dat hij geen opties meer had om de campagne te redden.Hij riep een krijgsraad bijeen en vroeg zijn korpscommandanten om te stemmen over blijven en vechten of terugtrekken.Hoewel een meerderheid stemde om te vechten, had Hooker er genoeg van en in de nacht van 5 op 6 mei trok hij zich terug over de rivier bij US Ford.^[23]Het was een moeilijke operatie.Hooker en de artillerie staken als eerste over, gevolgd door de infanterie die op 6 mei om 6.00 uur begon. Meade's V Corps diende als achterhoede.Door de regen steeg de rivier en dreigden de pontonbruggen te breken.^[23]Couch voerde het bevel op de zuidelijke oever nadat Hooker was vertrokken, maar hij kreeg expliciete orders om de strijd niet voort te zetten, waartoe hij in de verleiding was gekomen.De verrassende terugtrekking frustreerde Lee's plan voor een laatste aanval op Chancellorsville.Hij had zijn artillerie het bevel gegeven om de Union-linie te bombarderen ter voorbereiding op een nieuwe aanval, maar tegen de tijd dat ze klaar waren, waren Hooker en zijn mannen verdwenen.^[23]