Annak ellenére, hogy potenciálisan kedvező helyzetben volt, Hooker leállította rövid támadását.Cselekedetei talán azt mutatták, hogy először nem bízott egy ilyen nagy szervezet összetett akcióiban (korábbi csatákban hatékony és agresszív hadosztály- és hadtestparancsnok volt), de a hadjárat megkezdése előtt úgy döntött, hogy védekezően vívta a csatát, és arra kényszerítette Lee-t a kis seregével, hogy megtámadja a saját, nagyobb hadseregét.Az [első] fredericksburgi csatában (1862. december 13-án) az Unió hadserege támadott, és véres vereséget szenvedett.^[4]Hooker tudta, hogy Lee nem tud elviselni ekkora vereséget és hatékony sereget a mezőn tartani, ezért megparancsolta az embereinek, hogy vonuljanak vissza a vadonba, és foglalják el a védekező pozíciót Chancellorsville környékén, mert Lee megtámadja, vagy hátul nagyobb erőkkel visszavonul. .Összekeverte a dolgokat azzal, hogy egy második parancsot adott ki beosztottainak, hogy 17 óráig tartsák meg pozíciójukat, de mire megkapták, a szakszervezeti egységek többsége megkezdte hátrafelé mozgását.Hooker beosztottjait meglepte és felháborította a tervek változása.Látták, hogy az a pozíció, amelyért a Zoan-templom közelében harcoltak, viszonylag magas, és lehetőséget kínált a gyalogságnak és a tüzérségnek, hogy a vadon korlátain kívül helyezkedjenek el.Meade felkiáltott: – Istenem, ha nem tudjuk megtartani a domb tetejét, biztosan nem tudjuk megtartani az alját sem!Utólag szemlélve néhány résztvevő és sok modern történész úgy ítélte meg, hogy Hooker május 1-jén gyakorlatilag elvesztette a kampányt. Stephen W. Sears azonban megjegyezte, hogy Hooker aggodalma nem a személyes félénkségen alapult.^[4]