Вечером 3 мая и весь день 4 мая Хукер оставался в обороне к северу от Чанселлорсвилля.Ли заметил, что Хукер не угрожал наступательными действиями, поэтому чувствовал себя комфортно, приказывая дивизии Андерсона присоединиться к битве против Седжвика.Он отправил Эрли и Маклоусу приказы сотрудничать в совместной атаке, но приказы дошли до его подчиненных после наступления темноты, поэтому атака была запланирована на 4 мая ^{[. 21]}К этому времени Седжвик разместил свои дивизии на сильной оборонительной позиции с флангами, закрепленными на Раппаханноке, трех сторонах прямоугольника, простирающегося к югу от Планк-роуд.План Эрли состоял в том, чтобы отбросить войска Союза с высот Мэри и других возвышенностей к западу от Фредериксбурга.Ли приказал Маклоусу атаковать с запада, «чтобы помешать [противнику] сконцентрироваться на генерале Эрли».^[21]В 7 часов утра 4 мая Эрни отбил Мэри-Хайтс, отрезав Седжвик от города.Рано утром 4 мая снова заняли Мэри-Хайтс, отрезав Седжвик от города.Однако Маклоус не хотел предпринимать никаких действий.