Ráno 4. července, kdy byla stále přítomna Leeova armáda, nařídil Meade své kavalérii, aby se dostala do týlu Leeovy armády.^[122] V hustém dešti na sebe armády zíraly přes krvavá pole ve stejný den, kdy se asi 900 mil (1400 km) odtud vzdala posádka Vicksburgu generálmajorovi Ulyssesovi S. Grantovi.Lee reformoval své linie do obranné pozice na Seminary Ridge v noci 3. července a evakuoval město Gettysburg.Konfederace zůstala na západní straně bitevního pole v naději, že Meade zaútočí, ale opatrný velitel Unie se rozhodl proti riziku, za což byl později kritizován.Obě armády začaly sbírat své zbývající zraněné a pohřbívat některé mrtvé.Návrh Leeho na výměnu vězňů Meade odmítl.^[123]Pozdě v deštivém odpoledni začal Lee přesouvat nebojující část své armády zpět do Virginie.Jízda pod vedením brigádního generála Johna D. Imbodena byla pověřena, aby doprovázela sedmnáct mil dlouhý vozový vlak zásob a raněných mužů dlouhou cestou přes Cashtown a Greencastle do Williamsportu v Marylandu.Po západu slunce zahájila bojová část Leeovy armády ústup do Virginie pomocí přímější (ale hornatější) cesty, která začínala na silnici do Fairfieldu.^[124] Přestože Lee přesně věděl, co musí udělat, Meadeova situace byla jiná.Meade potřeboval zůstat v Gettysburgu, dokud si nebude jistý, že Lee je pryč.Pokud by Meade odešel jako první, mohl by možná nechat Leeovi prostor, aby se dostal do Washingtonu nebo Baltimoru.Navíc armáda, která opustila bojiště jako první, byla často považována za poraženou armádu.^[125]