Pada pagi 4 Julai, dengan tentera Lee masih hadir, Meade mengarahkan pasukan berkudanya untuk pergi ke belakang tentera Lee.^[122] Dalam hujan lebat, tentera merenung antara satu sama lain melintasi padang berdarah, pada hari yang sama, kira-kira 900 batu (1,400 km) jauhnya, garison Vicksburg menyerah kalah kepada Mejar Jeneral Ulysses S. Grant.Lee telah mengubah barisannya menjadi posisi bertahan di Seminary Ridge pada malam 3 Julai, mengosongkan bandar Gettysburg.Konfederasi kekal di sebelah barat medan perang, dengan harapan Meade akan menyerang, tetapi komander Kesatuan yang berhati-hati memutuskan terhadap risiko itu, keputusan yang dia kemudiannya akan dikritik.Kedua-dua tentera mula mengumpulkan baki mereka yang cedera dan mengebumikan beberapa orang yang mati.Cadangan Lee untuk pertukaran banduan ditolak oleh Meade.^[123]Lewat petang yang hujan, Lee mula memindahkan bahagian tenteranya yang tidak berperang kembali ke Virginia.Pasukan berkuda di bawah Brigedier Jeneral John D. Imboden telah diamanahkan untuk mengiringi kereta api gerabak sepanjang tujuh belas batu yang membawa bekalan dan lelaki yang cedera, menggunakan laluan panjang melalui Cashtown dan Greencastle ke Williamsport, Maryland.Selepas matahari terbenam, bahagian pertempuran tentera Lee mula berundur ke Virginia menggunakan laluan yang lebih terus (tetapi lebih bergunung-ganang) yang bermula di jalan ke Fairfield.^[124] Walaupun Lee tahu dengan tepat apa yang dia perlu lakukan, keadaan Meade berbeza.Meade perlu kekal di Gettysburg sehingga dia pasti Lee sudah tiada.Jika Meade pergi dahulu, dia mungkin boleh memberi peluang kepada Lee untuk pergi ke Washington atau Baltimore.Selain itu, tentera yang meninggalkan medan perang dahulu sering dianggap sebagai tentera yang kalah.^[125]