Angrebet begyndte endelig omkring kl. 18.00. To af Earlys brigader (under brigadergeneral Harry T. Hays og Robert F. Hoke) skubbede Sedgwicks venstre-center tilbage over Plank Road, men Andersons indsats var en lille indsats, og McLaws bidrog igen. intet: det sidste konfødererede angreb blev foretaget og slået tilbage.Hele dagen den 4. maj gav Hooker ingen hjælp eller nyttig vejledning til Sedgwick, og Sedgwick tænkte på lidt andet end at beskytte sin tilbagetogslinje.^[21]General Benham fra US Engineering Corps havde tilføjet en bro ved Scott's Dam, der hjalp med at kommunikere med General Hooker.Da tilbagetoget var planlagt, tilføjede general Benham den 4. maj en anden bro, og han og general Sedgwick blev enige om at krydse om natten for at undgå at miste en stor del af sit korps.Unionens 6. korps begyndte at trække sig tilbage til en på forhånd planlagt mindre linje tættere på broerne og begyndte deres tilbagetog uden tab.^[32]