I januar 1863 led Army of the Potomac, etter slaget ved Fredericksburg og den ydmykende gjørmemarsjen, av økende desertering og fallende moral.Lincoln prøvde en femte gang med en ny general 25. januar 1863—maj.General Joseph Hooker, en mann med et stridbart rykte som hadde prestert godt i tidligere underordnede kommandoer.^[56]Hooker tok fatt på en sårt tiltrengt omorganisering av hæren, og gjorde unna Burnsides store divisjonssystem, som hadde vist seg uhåndterlig;han hadde heller ikke lenger nok senioroffiserer for hånden som han kunne stole på til å lede flerkorpsoperasjoner.^[57] Han organiserte kavaleriet i et eget korps under kommando av brig.Gen. George Stoneman.Men mens han konsentrerte kavaleriet i en enkelt organisasjon, spredte han artilleribataljonene sine til kontroll av infanteridivisjonssjefene, og fjernet den koordinerende innflytelsen fra hærens artillerisjef, brig.Gen. Henry J. Hunt.Blant endringene hans var korrigeringer av troppens daglige kosthold, sanitære endringer i leiren, forbedringer og ansvarliggjøring av kvartermestersystemet, tillegg av og overvåking av bedriftens kokker, flere sykehusreformer, et forbedret permisjonssystem, ordre om å stoppe økende desertering, forbedrede øvelser , og sterkere befalsutdanning.De to hærene møtte hverandre ved Fredericksburg vinteren 1862–1863.Chancellorsville-kampanjen begynte da Hooker i all hemmelighet flyttet mesteparten av hæren sin opp på venstre bredd av Rappahannock-elven, og krysset den om morgenen 27. april 1863. Unionskavaleri under generalmajor George Stoneman startet et langdistanseangrep mot Lees forsyningslinjer omtrent samtidig.Ved å krysse Rapidan-elven via Germanna og Ely's Fords, konsentrerte det føderale infanteriet seg nær Chancellorsville den 30. april. Kombinert med unionsstyrken vendt mot Fredericksburg, planla Hooker en dobbel omhylling, og angrep Lee både foran og bakfra.1. mai avanserte Hooker fra Chancellorsville mot Lee, men den konfødererte generalen delte hæren hans i møte med overlegne tall, og etterlot en liten styrke ved Fredericksburg for å avskrekke generalmajor John Sedgwick fra å rykke frem, mens han angrep Hookers fremrykk med rundt fire. - femtedeler av hæren hans.Til tross for innvendingene fra hans underordnede, trakk Hooker mennene sine tilbake til forsvarslinjene rundt Chancellorsville, og ga initiativet til Lee.2. mai delte Lee hæren sin igjen, og sendte hele Stonewall Jacksons korps på en flankerende marsj som dirigerte Union XI Corps.De heftigste kampene i slaget – og den nest blodigste dagen i borgerkrigen – skjedde 3. mai da Lee satte i gang flere angrep mot unionsposisjonen ved Chancellorsville, noe som resulterte i store tap på begge sider og at Hookers hovedhær ble trukket tilbake.Samme dag avanserte Sedgwick over Rappahannock-elven, beseiret den lille konfødererte styrken ved Marye's Heights i det andre slaget ved Fredericksburg, og flyttet deretter mot vest.De konfødererte kjempet mot en vellykket forsinkende aksjon i slaget ved Salem Church.Den fjerde snudde Lee ryggen til Hooker og angrep Sedgwick, og kjørte ham tilbake til Banks' Ford, og omringet dem på tre sider.Sedgwick trakk seg tilbake over fordet tidlig 5. mai. Lee snudde tilbake for å konfrontere Hooker som trakk tilbake resten av hæren sin over US Ford natten 5.–6. mai.Chancellorsville er kjent som Lees "perfekte kamp" ^[58] fordi hans risikable beslutning om å dele hæren hans i nærvær av en mye større fiendtlig styrke resulterte i en betydelig konføderert seier.Seieren, et produkt av Lees frekkhet og Hookers beskjedne beslutningstaking, ble dempet av store tap, inkludert generalløytnant Thomas J. "Stonewall" Jackson.Jackson ble truffet av vennlig ild, og krevde at hans venstre arm ble amputert.Han døde av lungebetennelse åtte dager senere, et tap som Lee sammenlignet med å miste høyre arm.