De aanval begon uiteindelijk rond 18.00 uur. Twee van Early's brigades (onder leiding van brigadegeneraals Harry T. Hays en Robert F. Hoke) duwden Sedgwick's linkercentrum terug over de Plank Road, maar Anderson's poging was klein en McLaws droeg opnieuw bij. niets: de laatste Zuidelijke aanval werd gedaan en afgeslagen.De hele dag op 4 mei bood Hooker geen hulp of nuttige leiding aan Sedgwick, en Sedgwick dacht aan weinig anders dan het beschermen van zijn terugtochtlijn.^[21]Generaal Benham van het US Engineering Corps had een brug bij Scott's Dam toegevoegd om de communicatie met generaal Hooker te vergemakkelijken.Toen de terugtocht gepland was, voegde generaal Benham op 4 mei een tweede brug toe en hij en generaal Sedgwick kwamen overeen om 's nachts over te steken om te voorkomen dat hij een groot deel van zijn korps zou verliezen.Het 6e korps van de Unie begon zich terug te trekken naar een vooraf geplande kleinere linie dichter bij de bruggen en begon hun terugtocht zonder verliezen.^[32]