Sedgwick s'est retiré à travers le Rappahannock à Banks's Ford pendant les heures précédant l'aube du 5 mai. Lorsqu'il a appris que Sedgwick s'était retiré sur la rivière, Hooker a estimé qu'il n'avait plus d'options pour sauver la campagne.Il a convoqué un conseil de guerre et a demandé à ses commandants de corps de voter pour savoir s'ils devaient rester et se battre ou se retirer.Bien qu'une majorité ait voté pour se battre, Hooker en avait assez et dans la nuit du 5 au 6 mai, il s'est retiré de l'autre côté de la rivière à US Ford.^[23]C'était une opération difficile.Hooker et l'artillerie ont traversé en premier, suivis de l'infanterie à partir de 6 heures du matin le 6 mai. Le V Corps de Meade a servi d'arrière-garde.Les pluies ont fait monter la rivière et ont menacé de briser les ponts flottants.^[23]Couch commandait sur la rive sud après le départ de Hooker, mais il se retrouva avec des ordres explicites de ne pas continuer la bataille, ce qu'il avait été tenté de faire.Le retrait surprise a frustré le plan de Lee pour une dernière attaque contre Chancellorsville.Il avait donné l'ordre à son artillerie de bombarder la ligne de l'Union en vue d'un autre assaut, mais au moment où ils étaient prêts, Hooker et ses hommes étaient partis.^[23]