Pukul 7 pagi tanggal 3 Mei, Early dihadapkan dengan empat divisi Union: Brigjen.Jenderal John Gibbon dari Korps II telah melintasi Rappahannock di utara kota, dan tiga divisi dari Korps VI Sedgwick—Maj.Jenderal John Newton dan Brigjen.Gen.Albion P. Howe dan William TH Brooks—berbaris dari depan kota ke Deep Run.Sebagian besar kekuatan tempur Early dikerahkan ke selatan kota, tempat pasukan Federal mencapai keberhasilan paling signifikan selama pertempuran bulan Desember.Marye's Heights dipertahankan oleh brigade Mississippi Barksdale dan Early memerintahkan brigade Brigade Louisiana.Jenderal Harry T. Hays dari paling kanan ke kiri Barksdale.^[18]Menjelang tengah hari, dua serangan Union terhadap tembok batu yang terkenal di Marye's Heights berhasil dipukul mundur dengan banyak korban.Sebuah partai Persatuan di bawah bendera gencatan senjata diizinkan untuk mendekat seolah-olah untuk mengumpulkan yang terluka, tetapi saat berada di dekat tembok batu, mereka dapat mengamati betapa jarangnya garis Konfederasi diawaki.Serangan Union ketiga berhasil menguasai posisi Konfederasi.Early mampu mengatur retret pertempuran yang efektif.^[19]Jalan John Sedgwick ke Chancellorsville terbuka, tetapi dia membuang-buang waktu untuk mengumpulkan pasukannya dan membentuk barisan barisan.Anak buahnya, dipimpin oleh divisi Brooks, diikuti oleh Newton dan Howe, ditunda selama beberapa jam oleh tindakan berturut-turut melawan brigade Brigadir Alabama.Jenderal Cadmus M. Wilcox.Garis penundaan terakhirnya adalah punggung bukit di gereja Salem, di mana dia bergabung dengan tiga brigade dari divisi McLaws dan satu dari Anderson, sehingga total kekuatan Konfederasi menjadi sekitar 10.000 orang.^[19]Korban Konfederasi berjumlah 700 orang dan empat meriam.Early mundur dengan divisinya dua mil ke selatan, sementara Wilcox mundur ke barat, memperlambat gerak maju Sedgwick.Ketika dia mengetahui kekalahan Konfederasi, Lee mulai bergerak dua divisi ke timur untuk menghentikan Sedgwick.