Sedgwick wycofał się przez Rappahannock w Banks's Ford w godzinach przed świtem 5 maja. Kiedy dowiedział się, że Sedgwick wycofał się z powrotem za rzekę, Hooker poczuł, że nie ma możliwości uratowania kampanii.Zwołał radę wojenną i poprosił dowódców swoich korpusów o głosowanie w sprawie pozostania i walki lub wycofania się.Chociaż większość głosowała za walką, Hooker miał dość iw nocy z 5 na 6 maja wycofał się z powrotem za rzekę w US Ford.^[23]To była trudna operacja.Hooker i artyleria przeszli jako pierwsi, a następnie piechota, która rozpoczęła się o 6 rano 6 maja. V Korpus Meade'a służył jako tylna straż.Deszcze spowodowały, że rzeka się podniosła i groziła zerwaniem mostów pontonowych.^[23]Couch dowodził południowym brzegiem po odejściu Hookera, ale pozostawiono mu wyraźne rozkazy, aby nie kontynuować bitwy, do czego miał ochotę.Niespodziewane wycofanie się udaremniło plan Lee dotyczący jednego ostatecznego ataku na Chancellorsville.Wydał rozkazy, aby jego artyleria zbombardowała linię Unii w ramach przygotowań do kolejnego ataku, ale zanim byli gotowi, Hookera i jego ludzi już nie było.^[23]