De positie van de Unie was onhoudbaar en de mannen konden zien hoe het XI Corps zich terugtrok uit de noordelijke strijd, achtervolgd door massa's Zuidelijken.Doubleday beval een terugtrekking naar het oosten naar Cemetery Hill.^[44] Op de zuidelijke flank, de North Carolina-brigade van Brig.Generaal James H. Lane droeg weinig bij aan de aanval;hij werd bezig gehouden door een botsing met de cavalerie van de Unie op de Hagerstown Road.Brig.De Georgia Brigade van generaal Edward L. Thomas bevond zich ruim achterin in de reserve, niet opgeroepen door Pender of Hill om de doorbraak te helpen of te exploiteren.^[45]De troepen van de Unie trokken zich terug in verschillende staten van orde.De brigades op Seminary Ridge zouden opzettelijk en langzaam bewegen en de controle behouden, hoewel de artillerie van kolonel Wainwright niet op de hoogte was van het bevel om zich terug te trekken en alleen stond.Toen Wainwright zijn situatie besefte, beval hij zijn kanonbemanningen zich lopend terug te trekken, omdat hij de infanterie niet in paniek wilde brengen en een nederlaag wilde beginnen.Toen de druk uiteindelijk toenam, beval Wainwright zijn 17 overgebleven kanonnen om door Chambersburg Street te galopperen, drie naast elkaar.^[46] AP Hill slaagde er niet in een van zijn reserves in te zetten voor de achtervolging van de verdedigers van het seminarie, een grote gemiste kans.^[47]