Ali var søn af Abu Talib, Mohammeds onkel og for en tid hans værge. Abu Talib var også chef for Hashim-klanen i Mekka. Da Abu Talib var i økonomiske vanskeligheder, tog Mohammed Ali ind i sin husstand. Ali var der, da Muhammed omkring 610 modtog den første åbenbaring og kaldet til at være profet. Ali siges af nogle at have været den første mandlige Muslim, men han kunne kun have været omkring 10 år gammel på det tidspunkt. Han sluttede sig til Hijra, migrationen til Medina i 622, og giftede sig kort efter med Mohammeds datter, Fatima, der fødte ham to sønner, Hasan og Husein. Efter Fatimas død i 632 tog Ali andre koner. Den mest kendte af hans andre sønner var Mohammed ibn-al-hanafiyya (søn af kvinden fra stammen Hanifa). Ali deltog i de fleste af de militære ekspeditioner sendt ud af Mohammed fra Medina og er kendt for at have vist stort mod.efter en strid med Abu Bakr om nogle lande, som Fatima havde hævdet at have arvet fra sin far, anerkendte Ali kaliferne Abu Bakr, Omar og Othman og boede stille i Medina. Ved en lejlighed blev han overladt til Medina, da Omar var fraværende, og Omar udnævnte ham også til Rådet for seks for at vælge en efterfølger. Under den sidste opstand mod Othman i Juni 656 forblev Ali åbent neutral, skønt han vides at have været venlig med nogle af oprørerne.ved mordet på Othman blev Ali valgt til kalif af muslimerne i Medina, men han blev hverken anerkendt af Muaviya, dengang guvernør i Syrien, eller af en mekkansk gruppe ledet af Aisha, Talha og Sabayr. Sidstnævnte gruppe rejste til Irak og rejste en lille hær, som blev besejret af Alis tropper ved Slaget ved kamel nær Basra i December 656.
Muaviya var sværere at håndtere. Han og Ali med deres hære konfronterede hinanden ved Siffin i Juli 657, men efter nogle træfninger blev de enige om en voldgift om spørgsmålet om kalifatet. Hvad der skete næste er uklart, men Ali nægtede at acceptere afgørelsen fra de to voldgiftsmænd. Han og Muaviya forblev i en krigstilstand, men der var ingen yderligere fjendtligheder, skønt Ali måtte kæmpe mod dissidenter blandt sine egne tilhængere kendt som Haruritterne. Mens Muaviya bragte Egypten og Syrien under hans kontrol, fortsatte Ali med at regere Irak, det meste af Arabien og i det mindste nominelt de østlige provinser. Den Jan. 24.661 stak en mand ved navn Ibn-Muljam Ali med et forgiftet sværd for at hævne nogle af Haruritterne. Alis søn Hasan gjorde en svag indsats for at gøre krav på kalifatet, men han blev let besejret af Muaviya, som derefter blev universelt anerkendt som kalif.
på grund af massen af fromme legender, der er vokset op omkring Ali, er det svært at vide, hvordan den virkelige mand var. Han synes at have været en hengiven muslim, men at have haft nogen særlig gave til politik. Selv moderate shiitter hævder imidlertid, at han var den mest fremragende af mænd efter Mohammed og derfor blev udpeget til at efterfølge ham. Efter hans død og endnu mere efter hans søn Huseins død fangede Alis figur den populære fantasi, og der blev dannet et politisk parti omkring ham og hans efterkommere. Dette er den shiitiske eller Shia (det vil sige “partiet”) sekt, som har flere underopdelinger. For de mere moderate shiitter er Ali en inspireret eller karismatisk leder, guddommeligt bevaret fra synd og fejl, og hans grav i Nejef, Irak, er et pilgrimssted.selvom shiitiske muslimer hævder, at Muhammed udpegede Ali som hans efterfølger, benægtes Dette af sunnitiske muslimer. Moderne lærde har ikke fundet noget bevis, der understøtter den shiitiske påstand.