Iltana 3. toukokuuta ja koko päivän 4. toukokuuta Hooker pysyi puolustuksissaan Chancellorsvillen pohjoispuolella.Lee havaitsi, että Hooker ei uhannut millään hyökkäävillä toimilla, joten tunsi olonsa mukavaksi määrätä Andersonin divisioona liittymään taisteluun Sedgwickiä vastaan.Hän lähetti Earlylle ja McLawsille käskyt yhteistyöhön yhteisessä hyökkäyksessä, mutta käskyt saavuttivat hänen alaisensa pimeän tullessa, joten hyökkäys suunniteltiin 4. toukokuuta.
[21]Tähän mennessä Sedgwick oli asettanut divisioonansa vahvaan puolustusasemaan kyljensä ankkuroituneena Rappahannockiin, Plank Roadin eteläpuolelle ulottuvan suorakulmion kolmeen sivuun.Earlyn suunnitelma oli ajaa Unionin joukot pois Marye's Heightsista ja toiselta korkealta alueelta Fredericksburgin länsipuolella.Lee käski McLawsin ryhtymään lännestä "estämään [vihollista] keskittymästä kenraali Earlyyn".
[21]Toukokuun 4. päivänä kello 7.00 Early valloitti Marye's Heightsin ja leikkaa Sedgwickin pois kaupungista.Varhain uudelleen vallattu Marye's Heights aamulla 4. toukokuuta, leikkaamalla Sedgwickin pois kaupungista.McLaws oli kuitenkin haluton ryhtymään toimiin.