Ali era el hijo de Abu Talib, el tío de Mahoma y por un tiempo su tutor. Abu Talib también fue jefe del clan de Hashim de la tribu de Quraysh en La Meca. Cuando Abu Talib estaba en dificultades financieras, Mohammed llevó a Ali a su casa. Ali estaba allí cuando, alrededor del año 610, Mahoma recibió la primera revelación y el llamado a ser profeta. Algunos dicen que Ali fue el primer hombre musulmán, pero solo podía tener unos 10 años en ese momento. Se unió a la Hijra, la migración a Medina en 622, y poco después se casó con la hija de Mahoma, Fátima, que le dio dos hijos, Hasan y Husein. Después de la muerte de Fátima en 632, Ali tomó otras esposas. El más conocido de sus otros hijos fue Mohammed ibn-al-Hanafiyya (hijo de la mujer de la tribu de Hanifa). Ali participó en la mayoría de las expediciones militares enviadas por Mahoma desde Medina y tiene fama de haber demostrado gran coraje.
Después de una disputa con Abu Bakr sobre algunas tierras que Fátima había afirmado haber heredado de su padre, Ali reconoció a los califas Abu Bakr, Omar y Othman y vivió tranquilamente en Medina. En una ocasión fue dejado a cargo de Medina cuando Omar estaba ausente, y Omar también lo nombró para el Consejo de los Seis para elegir un sucesor. Durante la insurrección final contra Othman en junio de 656, Ali permaneció abiertamente neutral, aunque se sabe que fue amigo de algunos de los insurgentes.
En el asesinato de Othman, Ali fue elegido califa por los musulmanes en Medina, pero no fue reconocido ni por Muawiya, entonces gobernador de Siria, ni por un grupo mecano liderado por Aisha, Talha y Zubayr. Este último grupo fue a Irak y formó un pequeño ejército, que fue derrotado por las tropas de Ali en la Batalla del Camello cerca de Basora en diciembre de 656.
Muawiya era más difícil de tratar. Él y Ali con sus ejércitos se enfrentaron en Siffin en julio de 657, pero después de algunas escaramuzas acordaron un arbitraje sobre la cuestión del califato. Lo que sucedió después es oscuro, pero Ali se negó a aceptar la decisión de los dos árbitros. Él y Muawiya permanecieron en estado de guerra, pero no hubo más hostilidades, aunque Ali tuvo que luchar contra los disidentes entre sus propios partidarios conocidos como los Haruritas. Mientras Muawiya puso a Egipto y Siria bajo su control, Ali continuó gobernando Irak, la mayor parte de Arabia y, al menos nominalmente, las provincias orientales. En enero. El 24 de junio de 661, un hombre llamado Ibn-Muljam apuñaló a Ali con una espada envenenada para vengar a algunos de los haruritas. El hijo de Ali, Hasan, hizo un débil esfuerzo para reclamar el califato, pero fue derrotado fácilmente por Muawiya, que entonces era universalmente reconocido como califa.
Debido a la masa de leyendas piadosas que han crecido alrededor de Ali, es difícil saber cómo era el hombre real. Parece haber sido un musulmán devoto, pero no tenía un don especial para la política. Incluso los chiítas moderados, sin embargo, afirman que fue el más excelente de los hombres después de Mahoma y por lo tanto fue designado para sucederle. Después de su muerte y aún más después de la muerte de su hijo Husein, la figura de Ali atrapó la imaginación popular y se formó un partido político en torno a él y sus descendientes. Esta es la secta chiíta o chiíta (es decir, «el partido»), que tiene varias subdivisiones. Para los chiítas más moderados, Ali es un líder inspirado o carismático, divinamente preservado del pecado y el error, y su tumba en Nejef, Irak, es un lugar de peregrinación.
Aunque los musulmanes chiítas afirman que Mahoma designó a Ali como su sucesor, esto es negado por los musulmanes sunitas. Los eruditos modernos no han encontrado evidencia que respalde la afirmación chiíta.