A 7 heures du matin le 3 mai, Early est confronté à quatre divisions de l'Union : Brig.Le général John Gibbon du II Corps avait traversé le Rappahannock au nord de la ville, et trois divisions du VI Corps de Sedgwick - le Major.Le général John Newton et Brigue.Gens.Albion P. Howe et William TH Brooks - étaient alignés depuis le devant de la ville jusqu'à Deep Run.La majeure partie de la force de combat d'Early est déployée au sud de la ville, où les troupes fédérales ont remporté leurs plus grands succès lors de la bataille de décembre.Marye's Heights était défendue par la brigade du Mississippi de Barksdale et Early ordonna à la brigade de Louisiane de Brig.Le général Harry T. Hays de l'extrême droite à la gauche de Barksdale.^[18]Au milieu de la matinée, deux attaques de l'Union contre le tristement célèbre mur de pierre de Marye's Heights ont été repoussées avec de nombreuses victimes.Un parti de l'Union sous le drapeau de la trêve a été autorisé à s'approcher ostensiblement pour recueillir les blessés, mais tout en étant proche du mur de pierre, ils ont pu observer à quel point la ligne confédérée était peu peuplée.Une troisième attaque de l'Union réussit à envahir la position confédérée.Early a pu organiser une retraite de combat efficace.^[19]La route de John Sedgwick vers Chancellorsville était ouverte, mais il perdit du temps à rassembler ses troupes et à former une colonne en marche.Ses hommes, menés par la division Brooks, suivis de Newton et Howe, sont retardés de plusieurs heures par des actions successives contre la brigade Alabama de Brig.Le général Cadmus M. Wilcox.Sa dernière ligne de retardement était une crête à l'église de Salem, où il fut rejoint par trois brigades de la division McLaws et une d'Anderson, portant l'effectif total confédéré à environ 10 000 hommes.^[19]Les pertes confédérées s'élèvent à 700 hommes et quatre canons.Early se retire avec sa division à deux milles au sud, tandis que Wilcox se retire vers l'ouest, ralentissant l'avance de Sedgwick.Lorsqu'il apprend la défaite confédérée, Lee commence à déplacer deux divisions vers l'est pour arrêter Sedgwick.