Poziția Uniunii era insustenabilă, iar oamenii puteau vedea Corpul XI retrăgându-se din bătălia de nord, urmărit de mase de confederați.Doubleday a ordonat o retragere spre est, spre Cemetery Hill.^[44] Pe flancul sudic, brigada din Carolina de Nord Brig.Generalul James H. Lane a contribuit puțin la atac;a fost ținut ocupat de o ciocnire cu cavaleria Uniunii pe Hagerstown Road.Brig.Brigada Georgia a generalului Edward L. Thomas a fost în rezervă bine în spate, nu a fost convocată de Pender sau Hill pentru a ajuta sau exploata descoperirea.^[45]Trupele Uniunii s-au retras în diferite stări de ordine.Se spunea că brigăzile de pe Seminary Ridge se mișcau în mod deliberat și încet, păstrând controlul, deși artileria col. Wainwright nu a fost informată despre ordinul de a se retrage și s-au trezit singure.Când Wainwright și-a dat seama de situația în care se află, a ordonat echipajelor sale de armare să se retragă la o plimbare, fără a dori să intre în panică pe infanterie și să înceapă o ruină.Pe măsură ce presiunea a crescut în cele din urmă, Wainwright a ordonat celor 17 arme rămase să galopeze pe Chambersburg Street, trei la față.^[46] AP Hill nu a reușit să-și angajeze niciuna dintre rezervele sale în urmărirea apărătorilor seminarului, o mare oportunitate ratată.^[47]