Az Unió álláspontja tarthatatlan volt, és a férfiak láthatták, amint a XI. hadtest visszavonul az északi csatából, és a konföderáció tömegei üldözték.Doubleday elrendelte a visszavonulást kelet felé a Cemetery Hill felé.^[44] A déli szárnyon az észak-karolinai brigád Brig.James H. Lane tábornok kevéssé járult hozzá a támadáshoz;a Hagerstown Roadon az Unió lovasságával való összecsapás foglalkoztatta.brig.Edward L. Thomas tábornok Georgia Brigádja jóval hátul volt tartalékban, Pender vagy Hill nem hívta meg, hogy segítse vagy kihasználja az áttörést.^[45]A szakszervezeti csapatok különböző rendi állapotokban vonultak vissza.Azt mondták, hogy a Seminary Ridge dandárjai megfontoltan és lassan mozogtak, irányítást tartva, bár Wainwright ezredes tüzérsége nem kapott tájékoztatást a visszavonulási parancsról, és egyedül találták magukat.Amikor Wainwright rájött a helyzetére, megparancsolta fegyvereinek, hogy vonuljanak vissza egy sétával, nem akarta pánikba ejteni a gyalogságot, és támadásba lendült.Ahogy a nyomás végül megnőtt, Wainwright megparancsolta 17 megmaradt fegyverének, hogy vágtassanak le a Chambersburg Streeten, hárman egymás mellett.^[46] AP Hill egyetlen tartalékát sem tudta lekötni a szeminárium védőinek üldözésére, ami egy nagy elszalasztott lehetőség.^[47]