Atak w końcu rozpoczął się około godziny 18:00. Dwie brygady Early (pod dowództwem generała brygady Harry'ego T. Haysa i Roberta F. Hoke'a) odepchnęły lewy środek Sedgwicka przez Plank Road, ale wysiłek Andersona był niewielki, a McLaws po raz kolejny przyczynił się nic: ostateczny atak konfederatów został przeprowadzony i odparty.Przez cały dzień 4 maja Hooker nie udzielił Sedgwickowi żadnej pomocy ani użytecznych wskazówek, a Sedgwick nie myślał o niczym innym, jak tylko o ochronie swojej linii odwrotu.^[21]Generał Benham z US Engineering Corps dodał most na Scott's Dam, pomagając komunikować się z generałem Hookerem.Kiedy planowano odwrót, generał Benham 4 maja dodał drugi most, a on i generał Sedgwick zgodzili się przejść nocą, aby uniknąć utraty dużej części swojego korpusu.6. Korpus Unii rozpoczął wycofywanie się na wcześniej zaplanowaną mniejszą linię bliżej mostów i rozpoczął odwrót bez strat.^[32]