Di tingkat lokal, pemberitaan tentang Perang Salib Pertama menyulut pembantaian Rhineland yang dilakukan terhadap orang Yahudi, yang oleh beberapa sejarawan dianggap sebagai "Holocaust pertama".Pada akhir tahun 1095 dan awal tahun 1096, beberapa bulan sebelum keberangkatan perang salib resmi pada bulan Agustus, terjadi serangan terhadap komunitas Yahudi di Prancis dan Jerman.Pada Mei 1096, Emicho dari Flonheim (terkadang salah dikenal sebagai Emicho dari Leiningen) menyerang orang Yahudi di Speyer dan Worms.Tentara salib tidak resmi lainnya dari Swabia, dipimpin oleh Hartmann dari Dillingen, bersama dengan sukarelawan Perancis, Inggris, Lotharingian dan Flemish, dipimpin oleh Drogo dari Nesle dan William the Carpenter, serta banyak penduduk setempat, bergabung dengan Emicho dalam penghancuran komunitas Yahudi di Mainz pada akhir Mei.Di Mainz, seorang wanita Yahudi membunuh anak-anaknya daripada melihat mereka dibunuh;kepala rabi, Kalonymus Ben Meshullam, bunuh diri untuk mengantisipasi dibunuh. Rombongan Emicho kemudian pergi ke Cologne, dan yang lainnya melanjutkan ke Trier, Metz, dan kota-kota lain.Peter the Hermit mungkin terlibat dalam kekerasan terhadap orang Yahudi, dan pasukan yang dipimpin oleh seorang pendeta bernama Folkmar juga menyerang orang Yahudi lebih jauh ke timur di Bohemia.