A las 7 am del 3 de mayo, Early se enfrentó a cuatro divisiones de la Unión: Brig.El general John Gibbon del II Cuerpo había cruzado el Rappahannock al norte de la ciudad, y tres divisiones del VI Cuerpo de Sedgwick: Mayor.General John Newton y Brig.gen.Albion P. Howe y William TH Brooks estaban dispuestos en línea desde el frente de la ciudad hasta Deep Run.La mayor parte de la fuerza de combate de Early se desplegó al sur de la ciudad, donde las tropas federales habían logrado sus éxitos más significativos durante la batalla de diciembre.Marye's Heights fue defendida por la brigada de Mississippi de Barksdale y Early ordenó a la brigada de Louisiana de Brig.El general Harry T. Hays desde el extremo derecho hasta la izquierda de Barksdale.^[18]A media mañana, dos ataques de la Unión contra el infame muro de piedra de Marye's Heights fueron rechazados con numerosas bajas.Se permitió que un grupo de la Unión bajo la bandera de tregua se acercara aparentemente para recoger a los heridos, pero mientras estaban cerca del muro de piedra, pudieron observar cuán escasamente tripulada estaba la línea confederada.Un tercer ataque de la Unión logró invadir la posición confederada.Early pudo organizar una retirada de combate eficaz.^[19]El camino de John Sedgwick a Chancellorsville estaba abierto, pero perdió el tiempo reuniendo a sus tropas y formando una columna de marcha.Sus hombres, encabezados por la división de Brooks, seguida por Newton y Howe, se retrasaron durante varias horas por acciones sucesivas contra la brigada de Alabama de Brig.General Cadmo M. Wilcox.Su línea de retraso final fue una cresta en la iglesia de Salem, donde se le unieron tres brigadas de la división de McLaws y una de Anderson, lo que elevó la fuerza confederada total a unos 10.000 hombres.^[19]Las bajas confederadas ascendieron a 700 hombres y cuatro cañones.Early se retiró con su división dos millas al sur, mientras que Wilcox se retiró hacia el oeste, frenando el avance de Sedgwick.Cuando se enteró de la derrota confederada, Lee comenzó a mover dos divisiones hacia el este para detener a Sedgwick.