Op 3 mei om 7 uur 's ochtends werd Early geconfronteerd met vier Union-divisies: Brig.Generaal John Gibbon van het II Corps was de Rappahannock ten noorden van de stad overgestoken en drie divisies van Sedgwick's VI Corps - Maj.Generaal John Newton en Brig.gen.Albion P. Howe en William TH Brooks stonden in rijen opgesteld vanaf de voorkant van de stad tot aan Deep Run.Het grootste deel van Early's gevechtskracht werd ingezet in het zuiden van de stad, waar de federale troepen hun belangrijkste successen hadden behaald tijdens de slag in december.Marye's Heights werd verdedigd door de Mississippi-brigade van Barksdale en Early beval de Louisiana-brigade van Brig.Generaal Harry T. Hays van uiterst rechts tot Barksdale's linkerzijde.^[18]Halverwege de ochtend werden twee aanvallen van de Unie tegen de beruchte stenen muur op Marye's Heights afgeslagen met talloze slachtoffers.Een partij van de Unie onder wapenstilstand mocht zogenaamd naderen om de gewonden op te halen, maar terwijl ze dicht bij de stenen muur waren, konden ze zien hoe schaars de Zuidelijke linie bemand was.Een derde aanval van de Unie slaagde erin de Zuidelijke positie onder de voet te lopen.Early was in staat om een ​​effectieve gevechtsretraite te organiseren.^[19]De weg van John Sedgwick naar Chancellorsville lag open, maar hij verspilde tijd met het verzamelen van zijn troepen en het vormen van een marcherende colonne.Zijn mannen, geleid door de divisie van Brooks, gevolgd door Newton en Howe, liepen enkele uren vertraging op door opeenvolgende acties tegen de Alabama-brigade van Brig.Generaal Cadmus M. Wilcox.Zijn laatste vertragingslinie was een heuvelrug bij de kerk van Salem, waar hij werd vergezeld door drie brigades van de divisie van McLaws en een van die van Anderson, waardoor de totale Zuidelijke sterkte op ongeveer 10.000 man kwam.^[19]Geconfedereerde slachtoffers waren in totaal 700 man en vier kanonnen.Early trok zich met zijn divisie twee mijl naar het zuiden terug, terwijl Wilcox zich westwaarts terugtrok, wat de opmars van Sedgwick vertraagde.Toen hij hoorde van de Zuidelijke nederlaag, begon Lee twee divisies naar het oosten te verplaatsen om Sedgwick tegen te houden.