Ujutro 4. srpnja, dok je Leejeva vojska još uvijek bila prisutna, Meade je naredio svojoj konjici da dođe do pozadine Leejeve vojske.^[122] U jakoj kiši, vojske su gledale jedna u drugu preko krvavih polja, istoga dana kada se, nekih 900 milja (1400 km) dalje, garnizon Vicksburga predao general-bojniku Ulyssesu S. Grantu.Lee je preoblikovao svoje linije u obrambeni položaj na Seminary Ridgeu u noći 3. srpnja, evakuirajući grad Gettysburg.Konfederacija je ostala na zapadnoj strani bojišta, nadajući se da će Meade napasti, ali oprezni zapovjednik Unije odlučio se protiviti riziku, odluka zbog koje će kasnije biti kritiziran.Obje su vojske počele skupljati svoje preostale ranjenike i pokapati neke od mrtvih.Meade je odbio Leejev prijedlog za razmjenu zarobljenika.^[123]U kasno kišno poslijepodne, Lee je počeo premještati neborbeni dio svoje vojske natrag u Virginiju.Konjici pod vodstvom brigadnog generala Johna D. Imbodena povjereno je da prati 17 milja dugu karavan sa zalihama i ranjenicima, koristeći dugu rutu kroz Cashtown i Greencastle do Williamsporta, Maryland.Nakon zalaska sunca, borbeni dio Leejeve vojske započeo je svoje povlačenje u Virginiju koristeći izravniju (ali brdovitiju) rutu koja je počinjala na cesti za Fairfield.^[124] Iako je Lee točno znao što treba učiniti, Meadeina je situacija bila drugačija.Meade je trebao ostati u Gettysburgu dok se ne uvjeri da je Lee otišao.Ako Meade ode prvi, mogao bi Leeju ostaviti mogućnost da ode u Washington ili Baltimore.Osim toga, vojska koja je prva napustila bojno polje često se smatrala poraženom vojskom.^[125]