Unionin asema oli kestämätön, ja miehet näkivät XI-joukkojen vetäytyvän pohjoisesta taistelusta, jota seurasivat konfederaatiot.Doubleday määräsi vetäytymisen itään Cemetery Hillille.^[44] Etelälaidalla North Carolina Brig.Kenraali James H. Lane osallistui vähän hyökkäykseen;hänet piti kiireisenä yhteenotto unionin ratsuväen kanssa Hagerstown Roadilla.Prik.Kenraali Edward L. Thomasin Georgia-prikaati oli reservissä hyvin takana, eikä Pender tai Hill ollut kutsunut häntä auttamaan tai hyödyntämään läpimurtoa.^[45]Unionin joukot vetäytyivät eri järjestystiloissa.Seminary Ridgen prikaatien sanottiin liikkuvan tarkoituksella ja hitaasti pitäen hallinnassa, vaikka eversti Wainwrightin tykistölle ei ilmoitettu perääntymiskäskystä ja he joutuivat yksin.Kun Wainwright ymmärsi tilanteensa, hän käski asemiehistönsä vetäytymään kävelylle, koska hän ei halunnut panikoida jalkaväkeä ja aloittaa taistelua.Kun paine lopulta kasvoi, Wainwright käski 17 jäljellä olevat aseensa laukkaamaan Chambersburg Streetillä kolme peräkkäin.^[46] AP Hill ei onnistunut sitomaan mitään reserviään Seminaarin puolustajien takaa-ajoon, mikä oli huima tilaisuus.^[47]