Седжвик отступил через Раппаханнок у Бэнкс-Форд в предрассветные часы 5 мая. Когда он узнал, что Седжвик отступил обратно за реку, Хукер почувствовал, что у него нет вариантов спасти кампанию.Он созвал военный совет и попросил командиров своих корпусов проголосовать за то, чтобы остаться и сражаться или отступить.Хотя большинство проголосовало за бой, Хукеру было достаточно, и в ночь с 5 на 6 мая он отступил через реку в американский Форд.^[23]Это была сложная операция.Хукер и артиллерия переправились первыми, за ними последовала пехота, начавшая в 6 часов утра 6 мая. V корпус Мида служил арьергардом.Дожди вызвали подъем реки и грозили разрушить понтонные мосты.^[23]Коуч командовал южным берегом после ухода Хукера, но ему был оставлен четкий приказ не продолжать битву, что он и хотел сделать.Неожиданный отход сорвал план Ли по последней атаке на Чанселлорсвилль.Он отдал приказ своей артиллерии обстрелять линию Союза в рамках подготовки к новому штурму, но к тому времени, когда они были готовы, Хукера и его людей уже не было.^[23]