Sedgwick visszavonult a Rappahannockon át a Banks's Fordnál május 5-én, hajnal előtt. Amikor megtudta, hogy Sedgwick visszahúzódott a folyón, Hooker úgy érezte, nincs lehetősége megmenteni a kampányt.Haditanácsot hívott össze, és arra kérte hadtestparancsnokait, hogy szavazzanak arról, hogy maradjanak harcolni vagy kivonuljanak.Bár a többség a harcra szavazott, Hookernek elege lett, és május 5-ről 6-ra virradó éjszaka visszahúzódott a folyón az amerikai Fordnál.^[23]Nehéz műtét volt.Hooker és a tüzérség kelt át először, majd a gyalogság kezdett május 6-án reggel 6 órakor. Meade V. hadteste szolgált hátvédként.Az esők hatására a folyó megemelkedett, és a pontonhidak letörésével fenyegetett.^[23]Couch volt a parancsnok a déli parton, miután Hooker távozott, de határozott parancsot kapott, hogy ne folytassa a csatát, amire kísértést keltett.A meglepetésszerű visszavonulás meghiúsította Lee azon tervét, hogy egy utolsó támadást hajtson végre Chancellorsville ellen.Parancsot adott tüzérségének, hogy bombázzák az Unió vonalát egy újabb támadásra készülve, de mire készen lettek volna, Hooker és emberei elmentek.^[23]