Сутринта на 4 юли, докато армията на Лий все още присъстваше, Мийд нареди на кавалерията си да стигне до тила на армията на Лий.^[122] В проливен дъжд армиите се взираха една в друга през кървавите полета в същия ден, в който на около 900 мили (1400 км) гарнизонът на Виксбург се предаде на генерал-майор Улисес С. Грант.Лий реформира своите линии в отбранителна позиция на Семинарския хребет през нощта на 3 юли, евакуирайки град Гетисбърг.Конфедератите останаха от западната страна на бойното поле, надявайки се, че Мийд ще атакува, но предпазливият командир на Съюза реши да не рискува, решение, за което по-късно щеше да бъде критикуван.И двете армии започнаха да събират останалите си ранени и да погребват някои от мъртвите.Предложението на Лий за размяна на затворници беше отхвърлено от Мийд.^[123]Късно в дъждовния следобед Лий започна да премества невоюващата част от армията си обратно във Вирджиния.На кавалерията под командването на бригаден генерал Джон Д. Имбоден е поверено да ескортира дългия седемнадесет мили фургон с припаси и ранени мъже, използвайки дълъг маршрут през Кештаун и Грийнкасъл до Уилямспорт, Мериленд.След залез слънце бойната част от армията на Лий започна отстъплението си към Вирджиния, използвайки по-директен (но по-планински) маршрут, който започваше по пътя за Феърфийлд.^[124] Въпреки че Лий знаеше точно какво трябва да направи, ситуацията на Мийд беше различна.Мийд трябваше да остане в Гетисбърг, докато се увери, че Лий си е отишъл.Ако Мийд си тръгне пръв, вероятно би могъл да остави възможност на Лий да стигне до Вашингтон или Балтимор.Освен това армията, която първа напусна бойното поле, често се смяташе за победена армия.^[125]