Około 17:30, po zakończeniu okrążenia wroga, Jackson zwrócił się do Roberta Rodesa i zapytał go: „Generale, czy jesteś gotowy?”Kiedy Rodes skinął głową, Jackson odpowiedział: „W takim razie możesz iść naprzód”.Większość ludzi z XI Korpusu obozowała i siadała do kolacji, a ich karabiny były rozładowywane i układane w stosy.Ich pierwszą wskazówką co do zbliżającego się ataku była obserwacja wielu zwierząt, takich jak króliki i lisy, uciekających w ich kierunku z zachodnich lasów.Po tym nastąpił trzask ognia z muszkietu, a potem charakterystyczny krzyk „Rebel Yell”.Dwa pułki von Gilsy, ​​153. Pensylwania i 54. Nowy Jork, zostały ustawione jako ciężka linia bojowa, a masowy atak Konfederacji całkowicie je przetoczył.Kilku mężczyznom udało się oddać strzał lub dwa przed ucieczką.Para dział artyleryjskich na samym końcu linii XI Korpusu została zdobyta przez Konfederatów i szybko zwróciła się przeciwko swoim byłym właścicielom.Dywizja Devensa upadła w ciągu kilku minut, uderzona z trzech stron przez prawie 30 000 konfederatów.Pułkownik Robert Reily i jego 75. Ohio zdołali stawić opór przez około dziesięć minut, zanim pułk rozpadł się ze 150 ofiarami, w tym samym Reily, i dołączył do reszty uciekającego tłumu.Pułkownik Lee napisał później sarkastycznie: „Miejsce strzelnicze jest bezużyteczne, gdy wróg jest po tej samej stronie i za twoją linią”.Niektórzy mężczyźni próbowali wstać i stawić opór, ale zostali przewróceni przez uciekających towarzyszy i grad konfederackich kul.Generał dywizji Carl Schurz nakazał swojej dywizji przesunięcie z linii wschód-zachód na północ-południe, co zrobili z niesamowitą precyzją i szybkością.Opierali się przez około 20 minut, a „Skórzane bryczesy” Dilgerowi udało się na chwilę zepchnąć Konfederatów z autostrady swoją bronią, ale sam ciężar ataku Jacksona również ich przytłoczył i wkrótce musieli uciekać.Chaos rozwijający się po prawej stronie Unii przeszedł niezauważony w kwaterze głównej Hookera, aż w końcu w oddali rozległ się odgłos wystrzałów, po których nastąpił spanikowany tłum ludzi i koni wlewający się na polanę Chancellorsville.Oficer sztabowy krzyknął: „Mój Boże, nadchodzą!”gdy tłum biegł do i obok rezydencji kanclerza.Hooker wskoczył na konia i gorączkowo próbował podjąć działania.Rozkazał dywizji III Korpusu generała dywizji Hirama Berry'ego, niegdyś jego własnej dywizji, naprzód, krzycząc „Przyjmij ich na bagnety!”Artylerzyści wokół polany zaczęli przesuwać działa na pozycje wokół cmentarza Fairview.^[11]W międzyczasie, w Hazel Grove, 8. Kawaleria Pensylwanii odpoczywała i czekała na rozkaz ścigania wagonów Konfederacji, również nieświadoma upadku XI Korpusu.Dowódca pułku, mjr Pennock Huey, otrzymał zawiadomienie, że generał Howard prosi o trochę kawalerii.Huey osiodłał swoich ludzi i skierował się na zachód autostradą, gdzie wpadli prosto na dywizję Roberta Rodesa.Po chaotycznej walce 8. kawaleria Pensylwanii wycofała się w bezpieczne miejsce na polanie Chancellorsville, tracąc 30 ludzi i trzech oficerów.^[11]