Unionens stilling var uholdbar, og mennene kunne se XI Corps trekke seg tilbake fra det nordlige slaget, forfulgt av masser av konfødererte.Doubleday beordret en tilbaketrekning østover til Cemetery Hill.^[44] På den sørlige flanken, North Carolina-brigaden til Brig.Gen. James H. Lane bidro lite til overfallet;han ble holdt opptatt av et sammenstøt med Unionens kavaleri på Hagerstown Road.Brig.General Edward L. Thomass Georgia Brigade var i reserve langt bak, ikke tilkalt av Pender eller Hill for å hjelpe eller utnytte gjennombruddet.^[45]Unionstropper trakk seg tilbake i forskjellige ordenstilstander.Brigadene på Seminary Ridge ble sagt å bevege seg bevisst og sakte, og holde kontrollen, selv om oberst Wainwrights artilleri ikke ble informert om ordren om å trekke seg tilbake og befant seg alene.Da Wainwright innså situasjonen sin, beordret han våpenmannskapene sine til å trekke seg tilbake på en spasertur, uten å få panikk i infanteriet og starte en rute.Da presset til slutt økte, beordret Wainwright sine 17 gjenværende våpen til å galoppere nedover Chambersburg Street, tre på linje.^[46] AP Hill klarte ikke å forplikte noen av reservene sine til jakten på Seminary-forsvarerne, en stor tapt mulighet.^[47]