En la tarde del 3 de mayo y todo el día 4 de mayo, Hooker permaneció en sus defensas al norte de Chancellorsville.Lee observó que Hooker no amenazaba con una acción ofensiva, por lo que se sintió cómodo al ordenar a la división de Anderson que se uniera a la batalla contra Sedgwick.Envió órdenes a Early y McLaws para cooperar en un ataque conjunto, pero las órdenes llegaron a sus subordinados después del anochecer, por lo que el ataque fue planeado para el 4 de mayo ^{[. 21]}Para entonces, Sedgwick había colocado sus divisiones en una fuerte posición defensiva con sus flancos anclados en Rappahannock, tres lados de un rectángulo que se extendía al sur de Plank Road.El plan de Early era expulsar a las tropas de la Unión de Marye's Heights y el otro terreno elevado al oeste de Fredericksburg.Lee ordenó a McLaws que atacara desde el oeste "para evitar que [el enemigo] se concentrara en el general Early".^[21]A las 7 am del 4 de mayo, Early recuperó Marye's Heights, aislando a Sedgwick de la ciudad.Early volvió a ocupar Marye's Heights en la mañana del 4 de mayo, aislando a Sedgwick de la ciudad.Sin embargo, McLaws se mostró reacio a tomar cualquier medida.