Postavení Unie bylo neudržitelné a muži viděli, jak XI. sbor ustupuje ze severní bitvy, pronásledovaný masami Konfederací.Doubleday nařídil stažení na východ do Cemetery Hill.^[44] Na jižním křídle brigáda v Severní Karolíně z Brig.Gen. James H. Lane přispěl k útoku jen málo;byl zaneprázdněn střetem s unijní kavalérií na Hagerstown Road.Briga.Georgijská brigáda generála Edwarda L. Thomase byla v záloze hodně vzadu, nepovolali ji Pender ani Hill, aby pomohli nebo využili průlom.^[45]Jednotky Unie ustupovaly v různých stavech pořádku.Brigády na Seminary Ridge se prý pohybovaly záměrně a pomalu a držely se pod kontrolou, ačkoli dělostřelectvo plukovníka Wainwrighta nebylo informováno o rozkazu k ústupu a ocitlo se osamocené.Když si Wainwright uvědomil svou situaci, nařídil svým dělnickým posádkám, aby se stáhly na procházku, nechtěl zpanikařit pěchotu a zahájit útok.Když tlak nakonec vzrostl, Wainwright nařídil svým 17 zbývajícím dělům cválat po Chambersburg Street, tři vedle sebe.^[46] AP Hill nedokázal zavázat žádnou ze svých rezerv k pronásledování obránců semináře, což byla velká promarněná příležitost.^[47]