Op de avond van 3 mei en de hele dag op 4 mei bleef Hooker in zijn verdediging ten noorden van Chancellorsville.Lee merkte op dat Hooker met geen offensieve actie dreigde, dus voelde hij zich op zijn gemak om Anderson's divisie te bevelen zich bij de strijd tegen Sedgwick aan te sluiten.Hij stuurde orders naar Early en McLaws om samen te werken aan een gezamenlijke aanval, maar de orders bereikten zijn ondergeschikten in het donker, dus de aanval was gepland voor 4 mei ^[.]Tegen die tijd had Sedgwick zijn divisies in een sterke verdedigingspositie geplaatst met zijn flanken verankerd aan de Rappahannock, drie zijden van een rechthoek die zich uitstrekte ten zuiden van de Plank Road.Het plan van Early was om de troepen van de Unie van Marye's Heights en de andere hoge grond ten westen van Fredericksburg te verdrijven.Lee beval McLaws om vanuit het westen aan te vallen "om te voorkomen dat [de vijand] zich concentreerde op generaal Early."^[21]Op 4 mei om 7 uur heroverde Early Marye's Heights en sneed Sedgwick af van de stad.Marye's Heights werd op de ochtend van 4 mei vroeg opnieuw bezet, waardoor Sedgwick van de stad werd afgesneden.McLaws aarzelde echter om actie te ondernemen.