Aamulla 4. heinäkuuta, kun Leen armeija oli vielä paikalla, Meade käski ratsuväkensä päästä Leen armeijan taakse.^[122] Kovassa sateessa armeijat tuijottivat toisiaan veristen peltojen poikki, samana päivänä, kun Vicksburgin varuskunta antautui noin 900 mailin (1400 km) päässä kenraalimajuri Ulysses S. Grantille.Lee oli muuttanut linjansa puolustavaksi asemaksi Seminary Ridgellä yöllä 3. heinäkuuta evakuoimalla Gettysburgin kaupungin.Konfederaatit pysyivät taistelukentän länsipuolella toivoen, että Meade hyökkäsi, mutta varovainen unionin komentaja päätti vastustaa riskiä, ​​mistä päätöksestä häntä myöhemmin kritisoitiin.Molemmat armeijat alkoivat kerätä jäljellä olevia haavoittuneita ja haudata joitakin kuolleista.Meade hylkäsi Leen ehdotuksen vankien vaihdosta.^[123]Myöhään sateisena iltapäivänä Lee alkoi siirtää armeijansa ei-taistelevaa osaa takaisin Virginiaan.Prikaatikenraali John D. Imbodenin johtaman ratsuväen tehtävänä oli saattaa seitsemäntoista mailia pitkä vaunujuna, jossa oli tarvikkeita ja haavoittuneita miehiä, käyttäen pitkää reittiä Cashtownin ja Greencastlen kautta Williamsportiin, Marylandiin.Auringonlaskun jälkeen Leen armeijan taisteleva osa aloitti vetäytymisensä Virginiaan käyttämällä suorempaa (mutta vuoristoisempaa) reittiä, joka alkoi tieltä Fairfieldiin.^[124] Vaikka Lee tiesi tarkalleen mitä hänen piti tehdä, Meaden tilanne oli erilainen.Meade joutui jäämään Gettysburgiin, kunnes hän oli varma, että Lee oli poissa.Jos Meade lähtisi ensin, hän voisi mahdollisesti jättää Leelle aukon päästäkseen Washingtoniin tai Baltimoreen.Lisäksi taistelukentältä ensimmäisenä poistunutta armeijaa pidettiin usein tappiollisena armeijana.^[125]