У 661 році, дев'ятнадцятого Рамадану, коли Алі молився у Великій мечеті Куфи, хариджит Абд аль-Рахман ібн Мульджам вдарив його по голові покритим отрутою мечем.Через два дні Алі помер від отриманого поранення.Джерела, здається, одностайні в тому, що Алі заборонив своїй сім'ї від надмірних покарань за Ібн Мульджама і від пролиття крові інших.Тим часом Ібн Мульджаму потрібно було дати хорошу їжу та хорошу постіль.Після смерті Алі його старший син Хасан дотримувався lex talionis, і Ібн Мульджама було страчено.Могилу Алі тримали в таємниці через побоювання, що її можуть осквернити його вороги.