Op de ochtend van 4 juli, terwijl Lee's leger nog steeds aanwezig was, beval Meade zijn cavalerie om naar de achterkant van Lee's leger te gaan.^[122] In een hevige regen staarden de legers elkaar aan over de bloedige velden, op dezelfde dag dat, zo'n 1400 kilometer verderop, het garnizoen van Vicksburg zich overgaf aan generaal-majoor Ulysses S. Grant.Lee had zijn linies in een defensieve positie op Seminary Ridge hervormd in de nacht van 3 juli, waarbij hij de stad Gettysburg had geëvacueerd.De Zuidelijken bleven aan de westkant van het slagveld, in de hoop dat Meade zou aanvallen, maar de voorzichtige commandant van de Unie besloot het risico niet te nemen, een beslissing waarvoor hij later kritiek zou krijgen.Beide legers begonnen hun overgebleven gewonden te verzamelen en enkele doden te begraven.Een voorstel van Lee voor een uitwisseling van gevangenen werd door Meade afgewezen.^[123]Laat in de regenachtige middag begon Lee het niet-vechtende deel van zijn leger terug te brengen naar Virginia.Cavalerie onder leiding van brigadegeneraal John D. Imboden kreeg de opdracht om de zeventien mijl lange wagentrein met voorraden en gewonde mannen te begeleiden, via een lange route door Cashtown en Greencastle naar Williamsport, Maryland.Na zonsondergang begon het vechtende deel van Lee's leger zich terug te trekken naar Virginia via een directere (maar meer bergachtige) route die begon op de weg naar Fairfield.^[Hoewel] Lee precies wist wat hij moest doen, was de situatie van Meade anders.Meade moest in Gettysburg blijven tot hij er zeker van was dat Lee weg was.Als Meade als eerste vertrok, zou hij mogelijk een opening kunnen laten voor Lee om naar Washington of Baltimore te gaan.Bovendien werd het leger dat als eerste het slagveld verliet vaak beschouwd als het verslagen leger.^[125]