Klokken 7 om morgenen den 3. maj blev Early konfronteret med fire Union-divisioner: Brig.General John Gibbon fra II Corps havde krydset Rappahannock nord for byen, og tre divisioner af Sedgwicks VI Corps – Maj.Gen. John Newton og brig.Gens.Albion P. Howe og William TH Brooks - var opstillet i kø fra forsiden af ​​byen til Deep Run.Det meste af Earlys kampstyrke blev indsat i den sydlige del af byen, hvor føderale tropper havde opnået deres mest betydningsfulde succeser under slaget i december.Marye's Heights blev forsvaret af Barksdales Mississippi-brigade og Early beordrede Louisiana-brigaden af ​​Brig.Gen. Harry T. Hays fra yderst til højre til Barksdales venstre.^[18]Midt på formiddagen blev to unionsangreb mod den berygtede stenmur på Marye's Heights slået tilbage med talrige ofre.Et unionsparti under våbenhvilens flag fik lov til at nærme sig tilsyneladende for at samle de sårede, men mens de var tæt på stenmuren, var de i stand til at observere, hvor sparsomt den konfødererede linje var bemandet.Et tredje unionsangreb lykkedes med at overskride den konfødererede position.Early var i stand til at organisere et effektivt kamptilbagetog.^[19]John Sedgwicks vej til Chancellorsville var åben, men han spildte tid på at samle sine tropper og danne en marchkolonne.Hans mænd, ledet af Brooks' division, efterfulgt af Newton og Howe, blev forsinket i adskillige timer af på hinanden følgende aktioner mod Alabama-brigaden af ​​Brig.Gen. Cadmus M. Wilcox.Hans sidste forsinkelseslinje var en højderyg ved Salem kirke, hvor han fik selskab af tre brigader fra McLaws' division og en fra Anderson's, hvilket bragte den samlede konfødererede styrke til omkring 10.000 mand.^[19]Konfødereredes tab var i alt 700 mand og fire kanoner.Early trak sig tilbage med sin division to miles mod syd, mens Wilcox trak sig tilbage mod vest og bremsede Sedgwicks fremmarch.Da han hørte om det konfødererede nederlag, begyndte Lee at flytte to divisioner østpå for at stoppe Sedgwick.