Serangan itu dimulai sekitar pukul 5:30 didukung oleh artileri yang baru dipasang di Hazel Grove, dan dengan serangan serentak oleh divisi Anderson dan McLaws dari selatan dan tenggara.Konfederasi ditentang dengan sengit oleh pasukan Union di belakang pekerjaan tanah yang kuat, dan pertempuran pada tanggal 3 Mei adalah kampanye terberat.Gelombang serangan awal oleh Heth dan Colston memperoleh sedikit kekuatan, tetapi dipukul mundur oleh serangan balik Union.^[15]Rodes mengirim anak buahnya terakhir dan dorongan terakhir ini, bersama dengan kinerja yang sangat baik dari artileri Konfederasi, melakukan pertempuran pagi.Chancellorsville adalah satu-satunya kesempatan dalam perang di Virginia di mana penembak Konfederasi memiliki keunggulan yang pasti atas rekan-rekan Federal mereka.Senjata Konfederasi di Hazel Grove bergabung dengan 20 lainnya di Jalan Papan untuk berduel secara efektif dengan senjata Union di Fairview Hill yang berdekatan, menyebabkan Federasi mundur karena amunisi menipis dan pasukan infanteri Konfederasi menembaki kru senjata.^[16]