Május 3-án este és május 4-én egész nap Hooker védelmében maradt Chancellorsville-től északra.Lee észrevette, hogy Hooker nem fenyegetett támadó akcióval, ezért nyugodtan utasította Anderson hadosztályát, hogy csatlakozzanak a Sedgwick elleni csatához.Parancsot küldött Earlynek és McLawsnak, hogy működjenek együtt egy közös támadásban, de a parancsok sötétedés után eljutottak beosztottjaihoz, így a támadást május 4-re tervezték ^{[. 21]}Sedgwick ekkorra már erős védelmi pozícióba helyezte hadosztályait, oldalai a Rappahannockon, a Plank Roadtól délre húzódó téglalap három oldalán horgonyozva.Early terve az volt, hogy elűzze az uniós csapatokat Marye's Heights-tól és a Fredericksburgtól nyugatra fekvő másik magaslatról.Lee megparancsolta a McLawsnak, hogy nyugatról szálljanak harcba, „hogy megakadályozzák [az ellenséget] abban, hogy Early tábornokra koncentráljon”.^[21]Május 4-én reggel 7 órakor Early visszafoglalta Marye's Heights-t, elvágva Sedgwicket a várostól.Május 4-én reggel korán elfoglalta Marye's Heights-t, elvágva Sedgwicket a várostól.McLaws azonban vonakodott bármiféle lépéstől.