În dimineața zilei de 4 iulie, cu armata lui Lee încă prezentă, Meade a ordonat cavaleriei sale să ajungă în spatele armatei lui Lee.^[122] Într-o ploaie puternică, armatele s-au uitat una la alta peste câmpurile sângeroase, în aceeași zi în care, la aproximativ 900 de mile (1.400 km) distanță, garnizoana Vicksburg s-a predat generalului-maior Ulysses S. Grant.Lee și-a transformat liniile într-o poziție defensivă pe Seminary Ridge în noaptea de 3 iulie, evacuând orașul Gettysburg.Confederații au rămas pe partea de vest a câmpului de luptă, sperând că Meade va ataca, dar prudentul comandant al Uniunii a decis împotriva riscului, decizie pentru care mai târziu va fi criticat.Ambele armate au început să-și adune răniții rămași și să îngroape unii dintre morți.O propunere a lui Lee pentru un schimb de prizonieri a fost respinsă de Meade.^[123]Târziu în după-amiaza ploioasă, Lee a început să mute partea care nu luptă a armatei sale înapoi în Virginia.Cavaleriei sub comanda generalului de brigadă John D. Imboden i sa încredințat să escorteze trenul de căruțe lung de șaptesprezece mile cu provizii și oameni răniți, folosind o rută lungă prin Cashtown și Greencastle până la Williamsport, Maryland.După apusul soarelui, partea de luptă a armatei lui Lee și-a început retragerea în Virginia folosind o rută mai directă (dar mai muntoasă) care începea pe drumul către Fairfield.^[124] Deși Lee știa exact ce trebuie să facă, situația lui Meade era diferită.Meade trebuia să rămână la Gettysburg până când era sigur că Lee nu mai era.Dacă Meade pleacă primul, ar putea să lase o deschidere pentru ca Lee să ajungă la Washington sau Baltimore.În plus, armata care a părăsit prima câmpul de luptă era adesea considerată armata învinsă.^[125]