Вранці 4 липня, коли армія Лі все ще була присутня, Мід наказав своїй кавалерії пройти в тил армії Лі.^[122] Під сильним дощем армії дивилися одна на одну на закривавлених полях того самого дня, коли за 900 миль (1400 км) гарнізон Віксбурга здався генерал-майору Уліссесу С. Гранту.У ніч на 3 липня Лі переформував свої лінії на оборонну позицію на Семінарському хребті, евакуювавши місто Геттісберг.Конфедерати залишилися на західній стороні поля бою, сподіваючись, що Мід атакує, але обережний командир Союзу вирішив не ризикувати, рішення, за яке його пізніше критикували.Обидві армії почали збирати решту поранених і ховати частину загиблих.Пропозиція Лі щодо обміну полоненими була відхилена Мідом.^[123]Пізно в дощовий день Лі почав переміщати частину своєї армії, яка не воювала, назад до Вірджинії.Кавалерії під командуванням бригадного генерала Джона Д. Імбодена було доручено супроводжувати 17-мильний вагон із припасами та пораненими, використовуючи довгий маршрут через Кештаун і Грінкасл до Вільямспорта, Меріленд.Після заходу сонця бойова частина армії Лі почала відступ до Вірджинії, використовуючи більш прямий (але більш гірський) маршрут, який починався на дорозі до Ферфілда.^[124] Хоча Лі точно знав, що йому потрібно робити, ситуація Міда була іншою.Міду потрібно було залишитися в Геттісберзі, доки він не переконається, що Лі пішов.Якщо Мід піде першим, він, можливо, залишить Лі можливість дістатися до Вашингтона чи Балтімора.Крім того, військо, яке першим залишило поле бою, часто вважалося переможеним військом.^[125]