Ali oli Abu Talibin poika, Muhammedin setä ja jonkin aikaa tämän holhooja. Abu Talib oli myös päällikkö klaanin Hashim heimon Quraysh Mekassa. Kun Abu Talib oli taloudellisessa ahdingossa, Mohammed otti alin talouteensa. Ali oli paikalla, kun noin vuonna 610 Muhammed sai ensimmäisen ilmestyksen ja kutsun tulla profeetaksi. Jotkut sanovat alin olleen ensimmäinen miespuolinen muhamettilainen, mutta hän saattoi olla tuolloin vain noin 10-vuotias. Hän liittyi Hijraan eli Medinaan vuonna 622 ja meni pian tämän jälkeen naimisiin Muhammedin tyttären Fatiman kanssa, joka synnytti hänelle kaksi poikaa, Hasanin ja Huseinin. Fatiman kuoltua vuonna 632 Ali otti muita vaimoja. Hänen muista pojistaan tunnetuin oli Mohammed ibn-al-Hanafiyya (Hanifan heimon naisen poika). Ali osallistui useimpiin sotaretkiin, jotka Muhammed lähetti Medinasta, ja hänen kerrotaan osoittaneen suurta rohkeutta.
riideltyään Abu Bakrin kanssa Joistakin maista, jotka Fatima oli väittänyt perineensä isältään, Ali tunnisti kalifit Abu Bakrin, Omarin ja Othmanin ja eli hiljaa Medinassa. Kerran hän jäi vastaamaan Medina kun Omar oli poissa, ja Omar myös nimitti hänet neuvoston kuusi valita seuraaja. Lopullisen kapinan aikana Othmania vastaan kesäkuussa 656 Ali pysyi avoimesti puolueettomana, vaikka hänen tiedetään olleen ystävällinen joillekin kapinallisille.
Othmanin salamurhasta Medinan muslimit valitsivat alin kalifiksi, mutta häntä ei tunnustanut sen paremmin Syyrian silloinen kuvernööri Muawiya kuin Aishan, Talhan ja Zubayrin johtama Meccan-ryhmä. Jälkimmäinen ryhmä lähti Irakiin ja kokosi pienen armeijan, jonka alin joukot löivät kamelin taistelussa Basran lähellä joulukuussa 656.
Muawiyaa oli vaikeampi käsitellä. Hän ja Ali sotajoukkoineen kohtasivat toisensa Siffinissä heinäkuussa 657, mutta muutaman kahakan jälkeen he suostuivat välimiesmenettelyyn kalifaatin kysymyksestä. Mitä seuraavaksi tapahtui, on hämärän peitossa, mutta Ali kieltäytyi hyväksymästä kahden välimiehen päätöstä. Hän ja Muawiya olivat edelleen sotatilassa, mutta uusia vihamielisyyksiä ei syntynyt, vaikka Ali joutuikin taistelemaan omien kannattajiensa haruriitteina tunnettuja toisinajattelijoita vastaan. Vaikka Muawiya sai Egyptin ja Syyrian hallintaansa, Ali hallitsi edelleen Irakia, suurinta osaa Arabiasta ja ainakin nimellisesti itäisiä provinsseja. Tammikuuta. 24, 661, Ibn-Muljam-niminen mies puukotti alia myrkytetyllä miekalla kostaakseen joidenkin Harurilaisten puolesta. Alin poika Hasan yritti heikosti saada itselleen kalifaatin, mutta Muawiya, joka sittemmin tunnustettiin yleisesti kalifiksi, voitti hänet helposti.
alin ympärille kasvaneen hurskaiden legendojen massan vuoksi on vaikea tietää, millainen oikea mies oli. Hän vaikuttaa olleen harras muhamettilainen, mutta hänellä ei ollut mitään erityistä lahjaa politiikkaan. Maltillisetkin shiiat kuitenkin väittävät, että hän oli Muhammedin jälkeen miehistä ylivertaisin, joten hänet nimitettiin hänen seuraajakseen. Hänen kuolemansa jälkeen ja vielä lisää hänen poikansa Huseinin kuoleman jälkeen Alin hahmo sai kansan mielikuvituksen ja hänen ja hänen jälkeläistensä ympärille muodostui poliittinen puolue. Kyseessä on Šiialainen eli Šiialainen (eli ”puolue”) lahko, johon kuuluu useita alajaostoja. Maltillisemmille Shiioille Ali on inspiroitunut tai karismaattinen johtaja, jumalallisesti varjeltu synniltä ja erheeltä, ja hänen hautansa Nejefissä Irakissa on pyhiinvaelluspaikka.
vaikka Šiiamuslimit väittävät Mohammedin nimittäneen alin seuraajakseen, sunnimuslimit kiistävät tämän. Nykytutkijat eivät ole löytäneet todisteita, jotka tukisivat shiiojen väitettä.