Om morgenen den 4. juli, mens Lees hær stadig var til stede, beordrede Meade sit kavaleri til at komme bagerst i Lees hær.^[122] I kraftig regn stirrede hærene på hinanden på tværs af de blodige marker, samme dag som Vicksburg-garnisonen, omkring 1.400 km væk, overgav sig til generalmajor Ulysses S. Grant.Lee havde omdannet sine linjer til en defensiv position på Seminary Ridge natten til den 3. juli og evakuerede byen Gettysburg.De konfødererede forblev på slagmarkens vestside i håb om, at Meade ville angribe, men den forsigtige unionskommandant besluttede sig imod risikoen, en beslutning, som han senere ville blive kritiseret for.Begge hære begyndte at samle deres resterende sårede og begrave nogle af de døde.Et forslag fra Lee om en fangeudveksling blev afvist af Meade.^[123]Sent på den regnfulde eftermiddag begyndte Lee at flytte den ikke-kampende del af sin hær tilbage til Virginia.Kavaleri under brigadegeneral John D. Imboden blev betroet at eskortere det 17 mil lange vogntog af forsyninger og sårede mænd ved at bruge en lang rute gennem Cashtown og Greencastle til Williamsport, Maryland.Efter solnedgang begyndte den kæmpende del af Lees hær sit tilbagetog til Virginia ved at bruge en mere direkte (men mere bjergrig) rute, der begyndte på vejen til Fairfield.^[124] Selvom Lee vidste præcis, hvad han skulle gøre, var Meades situation anderledes.Meade var nødt til at blive i Gettysburg, indtil han var sikker på, at Lee var væk.Hvis Meade rejste først, kunne han muligvis give Lee mulighed for at komme til Washington eller Baltimore.Derudover blev den hær, der først forlod slagmarken, ofte betragtet som den besejrede hær.^[125]