Ali était le fils d’Abu Talib, l’oncle de Mohammed et pendant un temps son tuteur. Abu Talib était également chef du clan de Hashim de la tribu de Quraysh à La Mecque. Quand Abu Talib était en difficulté financière, Mohammed a emmené Ali chez lui. Ali était là quand, vers 610, Mahomet a reçu la première révélation et l’appel à être prophète. Certains disent qu’Ali a été le premier homme musulman, mais il n’aurait pu avoir que 10 ans à l’époque. Il a participé à la Hijra, la migration vers Médine en 622, et peu de temps après a épousé la fille de Mahomet, Fatima, qui lui a donné deux fils, Hasan et Husein. Après la mort de Fatima en 632, Ali prit d’autres femmes. Le plus connu de ses autres fils était Mohammed ibn-al-Hanafiyya (fils de la femme de la tribu des Hanifa). Ali a participé à la plupart des expéditions militaires envoyées par Mohammed de Médine et est réputé avoir fait preuve d’un grand courage.
Après un différend avec Abu Bakr sur certaines terres que Fatima avait prétendument héritées de son père, Ali reconnut les califes Abu Bakr, Omar et Othman et vécut tranquillement à Médine. À une occasion, il a été laissé à la tête de Médine quand Omar était absent, et Omar l’a également nommé au Conseil des Six pour élire un successeur. Lors de l’insurrection finale contre Othman en juin 656, Ali est resté ouvertement neutre, bien qu’il soit connu pour avoir été ami avec certains des insurgés.
Lors de l’assassinat d’Othman, Ali est élu calife par les musulmans de Médine, mais il n’est reconnu ni par Muawiya, alors gouverneur de Syrie, ni par un groupe mecquois dirigé par Aisha, Talha et Zubayr. Ce dernier groupe se rendit en Irak et leva une petite armée, qui fut vaincue par les troupes d’Ali à la bataille du Chameau près de Bassora en décembre 656.
Muawiya était plus difficile à gérer. Lui et Ali avec leurs armées se sont affrontés à Siffin en juillet 657, mais après quelques escarmouches, ils ont accepté un arbitrage sur la question du califat. Ce qui s’est passé ensuite est obscur, mais Ali a refusé d’accepter la décision des deux arbitres. Lui et Muawiya sont restés en état de guerre, mais il n’y a pas eu d’autres hostilités, bien qu’Ali ait dû se battre contre des dissidents parmi ses propres partisans connus sous le nom de Harurites. Alors que Muawiya a placé l’Égypte et la Syrie sous son contrôle, Ali a continué à gouverner l’Irak, la majeure partie de l’Arabie et, au moins nominalement, les provinces orientales. Le Janv. 24, 661, un homme appelé Ibn-Muljam poignarda Ali avec une épée empoisonnée pour venger certains des Haruriens. Le fils d’Ali, Hasan, a fait un faible effort pour revendiquer le califat, mais il a été facilement vaincu par Muawiya, qui était alors universellement reconnu comme calife.
En raison de la masse de légendes pieuses qui ont grandi autour d’Ali, il est difficile de savoir à quoi ressemblait le vrai homme. Il semble avoir été un musulman pieux, mais n’avoir eu aucun don particulier pour la politique. Même les chiites modérés, cependant, affirment qu’il était le plus excellent des hommes après Mahomet et qu’il a donc été désigné pour lui succéder. Après sa mort et encore plus après la mort de son fils Husein, la figure d’Ali a attiré l’imagination populaire et un parti politique s’est formé autour de lui et de ses descendants. C’est la secte chiite ou chiite (c’est-à-dire « le parti »), qui a plusieurs subdivisions. Pour les Chiites les plus modérés, Ali est un chef inspiré ou charismatique, divinement préservé du péché et de l’erreur, et sa tombe à Nejef, en Irak, est un lieu de pèlerinage.
Bien que les musulmans chiites prétendent que Mohammed a désigné Ali comme son successeur, cela est démenti par les musulmans sunnites. Les érudits modernes n’ont trouvé aucune preuve qui étaye la revendication chiite.