De aanval begon omstreeks 05.30 uur, ondersteund door de nieuw geïnstalleerde artillerie bij Hazel Grove, en door gelijktijdige aanvallen door de divisies van Anderson en McLaws vanuit het zuiden en zuidoosten.De Zuidelijken werden fel tegengewerkt door de troepen van de Unie achter sterke grondwerken, en de gevechten op 3 mei waren de zwaarste van de campagne.De eerste golven van aanvallen door Heth en Colston wonnen wat terrein, maar werden teruggeslagen door tegenaanvallen van de Unie.^[15]Rodes stuurde zijn mannen als laatste en deze laatste aanval, samen met de uitstekende prestaties van de Zuidelijke artillerie, droeg de ochtendstrijd.Chancellorsville was de enige gelegenheid in de oorlog in Virginia waarin Zuidelijke kanonniers een duidelijk voordeel hadden ten opzichte van hun federale tegenhangers.Geconfedereerde kanonnen op Hazel Grove kregen gezelschap van 20 andere op de Plank Road om effectief te duelleren met de kanonnen van de Unie op het naburige Fairview Hill, waardoor de Federals zich terugtrokken omdat de munitie bijna op was en Zuidelijke infanteristen de kanonbemanningen uitschakelden.^[16]