Július 4-én reggel, amikor Lee hadserege még jelen volt, Meade megparancsolta lovasságának, hogy szálljanak Lee hadseregének hátuljába.^[122] Egy heves esőben a seregek egymásra meredtek a véres mezőkön át, ugyanazon a napon, amikor 1400 km-re a vicksburgi helyőrség megadta magát Ulysses S. Grant vezérőrnagynak.Lee július 3-án éjjel védekező pozícióvá alakította vonalait a Seminary Ridge-en, kiürítve Gettysburg városát.A szövetségiek a csatatér nyugati oldalán maradtak, remélve, hogy Meade támadni fog, de az óvatos uniós parancsnok a kockázat ellen döntött, amiért később bírálni fogják.Mindkét hadsereg elkezdte összeszedni megmaradt sebesültjeit, és eltemetni néhány halottat.Lee fogolycserére vonatkozó javaslatát Meade elutasította.^[123]Késő esős délután Lee megkezdte seregének nem harcoló részét visszaköltöztetni Virginiába.A John D. Imboden dandártábornok vezetése alatt álló lovasságot bízták meg azzal, hogy kísérje a tizenhét mérföld hosszú, utánpótlásból és sebesültekből álló vagon szerelvényt Cashtownon és Greencastle-n keresztül a marylandi Williamsportig.Naplemente után Lee hadseregének harcoló része megkezdte visszavonulását Virginia felé egy közvetlenebb (de hegyvidékibb) útvonalon, amely a Fairfield felé vezető úton kezdődött.^[124] Bár Lee pontosan tudta, mit kell tennie, Meade helyzete más volt.Meade-nek Gettysburgban kellett maradnia, amíg meg nem bizonyosodott, hogy Lee elment.Ha Meade előbb távozna, talán hagyhatna egy nyílást Lee számára, hogy Washingtonba vagy Baltimore-ba jusson.Emellett gyakran azt a hadsereget tekintették legyőzött hadseregnek, amelyik először hagyta el a csatateret.^[125]