Wieczorem 3 maja i przez cały dzień 4 maja Hooker pozostawał w obronie na północ od Chancellorsville.Lee zauważył, że Hooker nie groził żadną akcją ofensywną, więc czuł się komfortowo, nakazując dywizji Andersona przyłączenie się do bitwy z Sedgwick.Wysłał rozkazy do Early i McLaws, aby współpracowali we wspólnym ataku, ale rozkazy dotarły do ​​jego podwładnych po zmroku, więc atak zaplanowano na 4 maja ^[.21]W tym czasie Sedgwick ustawił swoje dywizje na silnej pozycji obronnej z flankami zakotwiczonymi na Rappahannock, trzech bokach prostokąta rozciągającego się na południe od Plank Road.Plan Early polegał na wypędzeniu wojsk Unii z Marye's Heights i innych wzniesień na zachód od Fredericksburga.Lee nakazał McLawsowi zaatakować od zachodu, „aby uniemożliwić [wrogowi] skoncentrowanie się na generale Early”.^[21]O 7 rano 4 maja Early odbił Marye's Heights, odcinając Sedgwick od miasta.Rankiem 4 maja wcześnie ponownie zajął Marye's Heights, odcinając Sedgwick od miasta.Jednak McLaws był niechętny do podjęcia jakichkolwiek działań.