På morgonen den 4 juli, med Lees armé fortfarande närvarande, beordrade Meade hans kavalleri att ta sig till den bakre delen av Lees armé.^[122] I ett kraftigt regn stirrade arméerna på varandra över de blodiga fälten, samma dag som Vicksburgs garnison, cirka 900 miles (1 400 km) bort, kapitulerade till generalmajor Ulysses S. Grant.Lee hade omvandlat sina linjer till en defensiv position på Seminary Ridge natten till den 3 juli och evakuerat staden Gettysburg.De konfedererade stannade kvar på slagfältets västra sida i hopp om att Meade skulle attackera, men den försiktige unionsbefälhavaren beslutade sig för att motverka risken, ett beslut som han senare skulle kritiseras för.Båda arméerna började samla sina återstående sårade och begrava några av de döda.Ett förslag från Lee om ett fångbyte avslogs av Meade.^[123]Sent på den regniga eftermiddagen började Lee flytta den icke-stridande delen av sin armé tillbaka till Virginia.Kavalleriet under brigadgeneral John D. Imboden fick förtroendet att eskortera det sjutton mil långa vagnståget av förnödenheter och sårade män, genom att använda en lång väg genom Cashtown och Greencastle till Williamsport, Maryland.Efter solnedgången började stridsdelen av Lees armé sin reträtt till Virginia med en mer direkt (men mer bergig) rutt som började på vägen till Fairfield.^[124] Även om Lee visste exakt vad han behövde göra, var Meades situation annorlunda.Meade behövde stanna kvar i Gettysburg tills han var säker på att Lee var borta.Om Meade lämnade först, kan han möjligen lämna en öppning för Lee att ta sig till Washington eller Baltimore.Dessutom betraktades ofta armén som lämnade slagfältet först som den besegrade armén.^[125]