Dans la soirée du 3 mai et toute la journée du 4 mai, Hooker reste dans ses défenses au nord de Chancellorsville.Lee a observé que Hooker ne menaçait aucune action offensive, il s'est donc senti à l'aise d'ordonner à la division d'Anderson de se joindre à la bataille contre Sedgwick.Il a envoyé des ordres à Early et McLaws pour coopérer à une attaque conjointe, mais les ordres ont atteint ses subordonnés après la tombée de la nuit, donc l'attaque était prévue pour le 4 mai ^{[. 21]}À ce moment-là, Sedgwick avait placé ses divisions dans une position défensive solide avec ses flancs ancrés sur le Rappahannock, trois côtés d'un rectangle s'étendant au sud de Plank Road.Le plan d'Early était de chasser les troupes de l'Union de Marye's Heights et des autres hauteurs à l'ouest de Fredericksburg.Lee a ordonné à McLaws de s'engager depuis l'ouest "pour empêcher [l'ennemi] de se concentrer sur le général Early".^[21]À 7 heures du matin le 4 mai, Early a repris Marye's Heights, coupant Sedgwick de la ville.Early a réoccupé Marye's Heights le matin du 4 mai, coupant Sedgwick de la ville.Cependant, McLaws était réticent à prendre des mesures.