Május 3-án reggel 7 órakor Early négy szakszervezeti hadosztállyal szállt szembe: Brig.John Gibbon tábornok, a II. hadtest átkelt a várostól északra fekvő Rappahannockon, és Sedgwick VI. hadtestének három hadosztálya – őrnagy.John Newton tábornok és Brig.Gens.Albion P. Howe és William TH Brooks sorban álltak a város elejétől a Deep Runig.Early harci erejének nagy részét a város déli részén telepítették, ahol a szövetségi csapatok a decemberi csata során érték el legjelentősebb sikereiket.Marye's Heights-t Barksdale Mississippi-dandárja védte, Early pedig elrendelte a louisianai Brig-dandárt.Harry T. Hays tábornok a jobb szélről Barksdale bal oldalára.^[18]Délutánra a Marye's Heights hírhedt kőfala elleni Union két támadást számos áldozattal visszavertek.A fegyverszünet lobogója alatt álló Uniós párt látszólag közeledhetett, hogy összeszedje a sebesülteket, de a kőfal közelében megfigyelhették, hogy a konföderációs vonal milyen gyér volt.A harmadik uniós támadás sikeres volt a konföderációs pozíció túllépésében.Early hatékony harci visszavonulást tudott szervezni.^[19]John Sedgwick útja Chancellorsville-be nyitva volt, de időt vesztegetett a csapatok összegyűjtésével és egy menetoszlop megalakításával.Emberei, akiket Brooks hadosztálya vezetett, majd Newton és Howe, több órát késleltetett a Brig alabamai brigádja elleni egymást követő akciók miatt.Cadmus M. Wilcox tábornok.Utolsó késleltető vonala a salemi templom gerince volt, ahol három dandár csatlakozott hozzá McLaws hadosztályától és egy Anderson hadosztályától, így a Konföderáció összereje körülbelül 10 000 főre emelkedett.^[19]A konföderációs áldozatok összesen 700 embert és négy ágyút tettek ki.Early visszavonult hadosztályával két mérfölddel délre, míg Wilcox nyugat felé vonult vissza, lelassítva Sedgwick előrenyomulását.Amikor Lee értesült a konföderációs vereségről, két hadosztályt keletre mozgatott, hogy megállítsa Sedgwicket.