Pozycja Unii była nie do utrzymania, a ludzie widzieli, jak XI Korpus wycofuje się z bitwy na północy, ścigany przez masy Konfederatów.Doubleday zarządził wycofanie się na wschód do Cemetery Hill.^[44] Na południowej flance brygada bryg.Gen. James H. Lane niewiele przyczynił się do ataku;był zajęty starciem z kawalerią Unii na Hagerstown Road.Bryg.Georgia Brigade generała Edwarda L. Thomasa znajdowała się w rezerwie daleko z tyłu, nie wezwana przez Pendera ani Hilla do pomocy lub wykorzystania przełomu.^[45]Wojska Unii wycofywały się w różnych stanach porządku.Mówiono, że brygady na Seminary Ridge poruszały się celowo i powoli, zachowując kontrolę, chociaż artyleria pułkownika Wainwrighta nie została poinformowana o rozkazie odwrotu i znalazła się sama.Kiedy Wainwright zdał sobie sprawę ze swojej sytuacji, rozkazał swoim załogom dział wycofać się pieszo, nie chcąc panikować piechoty i rozpocząć ucieczki.Gdy ciśnienie w końcu wzrosło, Wainwright rozkazał swoim 17 pozostałym działom galopować po Chambersburg Street, po trzy obok siebie.^[46] AP Hill nie wykorzystał swoich rezerw do pościgu za obrońcami Seminarium, co było wielką straconą szansą.^[47]