Om aftenen den 3. maj og hele dagen den 4. maj forblev Hooker i sit forsvar nord for Chancellorsville.Lee observerede, at Hooker ikke truede med nogen offensiv handling, så han følte sig tryg ved at beordre Andersons division til at deltage i kampen mod Sedgwick.Han sendte ordrer til Early og McLaws om at samarbejde i et fælles angreb, men ordrerne nåede hans underordnede efter mørkets frembrud, så angrebet var planlagt til den 4. maj ^{[. 21]}På dette tidspunkt havde Sedgwick placeret sine divisioner i en stærk defensiv position med sine flanker forankret på Rappahannock, tre sider af et rektangel, der strækker sig syd for Plank Road.Earlys plan var at drive unionstropperne væk fra Marye's Heights og det andet højland vest for Fredericksburg.Lee beordrede McLaws til at engagere sig fra vest "for at forhindre [fjenden] i at koncentrere sig om General Early."^[21]Klokken 7 om morgenen den 4. maj generobrede Early Marye's Heights og afskar Sedgwick fra byen.Tidligt genbesatte Marye's Heights om morgenen den 4. maj og afskærede Sedgwick fra byen.McLaws var dog tilbageholdende med at foretage sig noget.