ウスマーンはしかし、自己の家系であるウマイヤ家を重視する政策を採ったため、クライシュ族の他の家系の反発を招き、656年に暗殺された。次のカリフ位をめぐって、ムハンマドの従弟にして娘婿のアリーと、ウスマーンと同じウマイヤ家のムアーウィヤが争った。曲折を経て、アリーが第4代のカリフに就任した。
アリーがカリフに就任するが、ムアーウィヤや、ムハンマドの晩年の妻で初代正統カリフのアブー＝バクルの娘アーイシャはこれに反発した。656年、アリーはまずアーイシャの一派をラクダの戦いで退けた。ムアーウィヤは、ウスマーンを暗殺したのはアリーの一派であるとして、血の報復を叫んでアリーと戦闘に至った。ムアーウィヤは、657年のスィッフィーンの戦いでアリーと激突した。戦闘ではアリーが優位に立ち、武勇に優れたアリーを武力で倒すことは難しいと考えたムアーウィヤは、策略をめぐらせてアリーと和議を結んだ。この結果、ムアーウィヤは敗北を免れたことでウンマの一方の雄としての地位を確保し、アリーは兵を引いたことで支持の一部を失うことになった。
アリーがムアーウィヤと和議を結んだことに反発したアリー支持者の一部は、ムアーウィヤへの徹底抗戦を唱えてアリーと決別し、イスラーム史上初の分派と言われるハワーリジュ派（ハワーリジュとは「退去した者」の意）を形成した。
ムアーウィヤは、660年に自らカリフを称した。ハワーリジュ派は、アリー、ムアーウィヤとその副将アムル・イブン・アル＝アースに刺客を送った。アリーとその支持者は、勢力を拡大し続けるムアーウィヤとの戦いに加えて、身内から出たハワーリジュ派にも対処しなければならなくなり、疲弊を余儀なくされた。
ムアーウィヤは刺客の手から逃れ、一方アリーは661年に暗殺された。正統カリフ4代のうち実に3代までが暗殺されたことになる。アリーの暗殺により、ムアーウィヤは単独のカリフとなり、自己の家系によるカリフ位の世襲を宣言し、ウマイヤ朝を開くことになる。これに反発したアリーの支持者は、アリーとムハンマドの娘ファーティマとの子ハサンとフサインおよびその子孫のみが指導者たりうると考え、彼らを無謬のイマームと仰いでシーア派を形成していく。これに対して、ウマイヤ朝の権威を認めた多数派は、後世スンナ派（スンニ派）と呼ばれるようになる。
年譜
600年頃 マッカ（メッカ）で誕生
604年頃 ムハンマドの養子となる
610年頃 イスラームに入信
622年 ムハンマドとともにメディナ（マディーナ）へ移住（ヒジュラ）
624年 バドルの戦い
625年 ウフドの戦い、ファーティマと結婚
627年 ハンダクの戦い
630年 ムハンマド、マッカ入城
632年 ムハンマドの死
656年 ウスマーンの暗殺とアリーのカリフ就任、ラクダの戦い
657年 クーファ遷都、スィッフィーンの戦い、ドゥーマト・アル＝ジャンダルの和議
658年 ナフラワーンの戦い
659年 エジプト喪失
661年 アリー暗殺される
一族
アブー・ターリブ（父）
ファーティマ・ビント＝アサド（母）
ムハンマド（預言者ムハンマド）（従兄、養父、舅）
ファーティマ（妻）
ハサン（長男）
フサイン（次男）
ウンム・カルスーム（娘）
ザイナブ（娘）
シーア派では、アリーがムハンマドから直接後継者に任じられたとし、アブー＝バクル、ウマル、ウスマーンの3代の正統カリフの権威を認めない（彼らを簒奪者であるとして呪詛の対象とすることもある）。そして、指導者として預言者ムハンマドの血を引くことを重視し、ムハンマドの娘ファーティマとアリーとの間に生まれたハサン、フサインの2人をそれぞれ第2代、第3代のイマームとする（シーア派のうちカイサーン派のみは、アリーと別の妻ハウラとの子ムハンマド・イブン・ハナフィーヤを第2代のイマームとする）。一般にハサンやフサインの血統の人々は、特に「シャイフ」や「サイイド」と呼ばれ宗派を問わずムスリム社会では尊敬を受けるが、サイイド自身も預言者の後裔として社会から尊敬を受けるべく身を律するよう求められており、シーア派のみならずサイイド自身がウラマーやスーフィー教団のシャイフなど宗教的職権を担うことも一般的であった。