Pada malam tanggal 3 Mei dan sepanjang hari tanggal 4 Mei, Hooker tetap bertahan di utara Chancellorsville.Lee mengamati bahwa Hooker tidak mengancam tindakan ofensif, jadi merasa nyaman memerintahkan divisi Anderson untuk bergabung dalam pertempuran melawan Sedgwick.Dia mengirim perintah ke Early dan McLaws untuk bekerja sama dalam serangan bersama, tetapi perintah tersebut sampai ke bawahannya setelah gelap, jadi serangan itu direncanakan pada 4 Mei ^[.21]Pada saat ini Sedgwick telah menempatkan divisinya ke posisi pertahanan yang kuat dengan sayapnya berlabuh di Rappahannock, tiga sisi persegi panjang yang memanjang ke selatan Jalan Plank.Rencana Early adalah mengusir pasukan Union dari Marye's Heights dan dataran tinggi lainnya di barat Fredericksburg.Lee memerintahkan McLaws untuk terlibat dari barat "untuk mencegah [musuh] berkonsentrasi pada Jenderal Dini."^[21]Pukul 7 pagi tanggal 4 Mei, Early merebut kembali Marye's Heights, memotong Sedgwick dari kota.Early menduduki kembali Marye's Heights pada pagi hari tanggal 4 Mei, memotong Sedgwick dari kota.Namun, McLaws enggan mengambil tindakan apapun.