O 7 rano 3 maja Early został skonfrontowany z czterema dywizjami Unii: bryg.Gen. John Gibbon z II Korpusu przekroczył Rappahannock na północ od miasta, a trzy dywizje VI Korpusu Sedgwicka - gen.Gen. John Newton i bryg.rodyAlbion P. Howe i William TH Brooks — ustawili się w szeregu od frontu miasta do Deep Run.Większość sił bojowych Early została rozmieszczona na południu miasta, gdzie wojska federalne odniosły największe sukcesy podczas grudniowej bitwy.Marye's Heights było bronione przez brygadę Mississippi Barksdale, a Early rozkazał brygadzie brygady z Luizjany.Gen. Harry T. Hays od skrajnej prawej do lewej Barksdale'a.^[18]Do południa dwa ataki Unii na niesławny kamienny mur na Wzgórzach Marye zostały odparte z licznymi ofiarami.Partii związkowej pod flagą rozejmu pozwolono podejść rzekomo w celu zebrania rannych, ale będąc blisko kamiennego muru, mogli zaobserwować, jak słabo obsadzona jest linia konfederatów.Trzeci atak Unii zakończył się sukcesem w pokonaniu pozycji Konfederatów.Early był w stanie zorganizować skuteczny odwrót bojowy.^[19]Droga Johna Sedgwicka do Chancellorsville była otwarta, ale tracił czas na gromadzenie swoich żołnierzy i formowanie maszerującej kolumny.Jego ludzie, dowodzeni przez dywizję Brooksa, a następnie Newtona i Howe'a, zostali opóźnieni o kilka godzin przez kolejne akcje przeciwko brygadzie brygady z Alabamy.Gen. Cadmus M. Wilcox.Jego ostatnią linią opóźniającą był grzbiet kościoła w Salem, gdzie dołączyły do ​​​​niego trzy brygady z dywizji McLawsa i jedna z dywizji Andersona, co dało łączną siłę Konfederacji do około 10 000 ludzi.^[19]Straty konfederatów wyniosły 700 ludzi i cztery armaty.Early wycofał się ze swoją dywizją dwie mile na południe, podczas gdy Wilcox wycofał się na zachód, spowalniając natarcie Sedgwicka.Kiedy dowiedział się o klęsce Konfederatów, Lee zaczął przesuwać dwie dywizje na wschód, aby powstrzymać Sedgwick.