Unionens holdning var uholdbar, og mændene kunne se XI Corps trække sig tilbage fra det nordlige slag, forfulgt af masser af konfødererede.Doubleday beordrede en tilbagetrækning østpå til Cemetery Hill.^[44] På den sydlige flanke, North Carolina brigade af Brig.Gen. James H. Lane bidrog kun lidt til overfaldet;han blev holdt optaget af et sammenstød med Unionens kavaleri på Hagerstown Road.Brig.General Edward L. Thomas's Georgia Brigade var i reserve et godt stykke bagud, ikke tilkaldt af Pender eller Hill for at hjælpe eller udnytte gennembruddet.^[45]Unionens tropper trak sig tilbage i forskellige ordenstilstande.Det siges, at brigaderne på Seminary Ridge bevægede sig bevidst og langsomt og holdt kontrollen, selvom oberst Wainwrights artilleri ikke blev informeret om ordren om at trække sig tilbage og befandt sig alene.Da Wainwright indså sin situation, beordrede han sine våbenbesætninger til at trække sig tilbage på en gåtur, uden at ønske at gå i panik over infanteriet og starte en rute.Da presset til sidst steg, beordrede Wainwright sine 17 resterende kanoner til at galoppere ned ad Chambersburg Street, tre på linje.^[46] AP Hill undlod at forpligte nogen af ​​sine reserver til forfølgelsen af ​​Seminarets forsvarere, en stor forpasset chance.^[47]