Angrebet begyndte omkring kl. 05.30 understøttet af det nyligt installerede artilleri ved Hazel Grove og af samtidige angreb fra divisionerne Anderson og McLaws fra syd og sydøst.De konfødererede blev hårdt modstået af unionstropperne bag stærke jordarbejder, og kampene den 3. maj var kampagnens tungeste.De første bølger af angreb fra Heth og Colston vandt lidt terræn, men blev slået tilbage af Unionens modangreb.^[15]Rodes sendte sine mænd i sidste ende, og dette sidste skub, sammen med den fremragende præstation af det konfødererede artilleri, bar morgenslaget.Chancellorsville var den eneste lejlighed i krigen i Virginia, hvor konfødererede skytter havde en decideret fordel i forhold til deres føderale kolleger.Konfødererede kanoner på Hazel Grove fik selskab af 20 flere på Plank Road for at duellere effektivt med Unionskanonerne på nabolandet Fairview Hill, hvilket fik Federals til at trække sig tilbage, da ammunition løb tør, og konfødererede infanterister plukkede våbenbesætningerne af.^[16]