Dia adalah khalifah pertama dari kalangan Bani Hasyim. Ayahnya adalah Abu Thalib bin Abdul Muthalib bin Abdu Manaf, dan ibunya bernama Fathimah binti Asad bin Hasyim bin Abdu Manaf.

Ali dilahirkan di dalam Ka'bah dan mempunyai nama kecil Haidarah. Untuk meringankan beban Abu Thalib yang mempunyai anak banyak, Rasulullah SAW merawat Ali. Selanjutnya Ali tinggal bersama Rasulullah di rumahnya dan mendapatkan pengajaran langsung dari beliau. Ia baru menginjak usia sepuluh tahun ketika Rasulullah menerima wahyu yang pertama.

Sejak kecil Ali telah menunjukkan pemikirannya yang kritis dan brilian. Kesederhanaan, kerendah-hatian, ketenangan dan kecerdasannya yang bersumber dari Al-Qur'an dan wawasan yang luas, membuatnya menempati posisi istimewa di antara para sahabat Rasulullah SAW lainnya. Kedekatan Ali dengan keluarga Rasulullah SAW kian erat, ketika ia menikahi Fathimah, anak perempuan Rasulullah yang paling bungsu.

Dari segi agama, Ali bin Abi Thalib adalah seorang ahli agama yang faqih di samping ahli sastra yang terkenal, antara lain lewat bukunya "Nahjul Balaghah".

Syahidnya Utsman bin Affan membuat kursi kekhalifahan kosong selama dua atau tiga hari. Banyak orang, khususnya para pemberontak, mendesak Ali untuk menggantikan posisi Utsman. Para sahabat Rasulullah SAW juga memintanya, akhirnya dengan sangat terpaksa Ali menerima jabatan sebagai khalifah keempat.

Mungkin karena suasana peralihan kekhalifahan kini penuh dengan kekacauan, para pemberontak yang menyebabkan syahidnya usman masih bercokol dan membuat onar. Sementara ada banyak orang yang menuntut ditegakkannya hukum bagi pembunuh Utsman. Situasi saat itu membuat Ali sulit untuk memulai penataan pemerintahan baru yang bermasa depan cerah. Usahanya membuat penyegaran dalam pemerintahan dengan memberhentikan seluruh gubernur yang pernah diangkat Utsman, malah memicu konflik dengan Muawiyah.

Di sisi lain, muncul konflik antara Ali dan beberapa orang sahabat yang dikomandani oleh Aisyah, Ummul Mukminin. Puncak konflik ini menyebabkan meletusnya Perang Jamal (Perang Unta). Dinamakan demikian karena Aisyah mengendarai unta. Thalhah bin Ubaidillah dan Zubair bin Awwam yang berada di pihak Aisyah gugur, sedangkan Aisyah tertawan.

Pertentangan politik antara Ali dan Muawiyah mengakibatkan pecahnya Perang Shiffin pada 37 H. Pasukan Ali yang berjumlah sekitar 95.000 orang melawan 85.000 orang pasukan Muawiyah. Ketika peperangan hampir berakhir, pasukan Ali berhasil mendesak pasukan Muawiyah. Namun sebelum peperangan dimenangkan, muncul Amr bin Ash mengangkat mushaf Al-Qur'an menyatakan damai.

Terpaksa Ali memerintahkan pasukannya untuk menghentikan peperangan, dan terjadilah gencatan senjata. Akibat kebijakan Ali itu, pasukannya pecah menjadi tiga bagian. Kelompok Syiah dengan segala resiko dan pemahaman mereka tetap mendukungnya. Kelompok Murjiah yang menyatakan mengundurkan diri. Dan kelompok Khawarij yang memisahkan diri serta menyatakan tidak senang dengan tindakan Ali.

Kelompok ketiga inilah yang akhirnya memberontak, dan menyatakan ketidaksetujuan mereka terhadap Ali sebagai khalifah, Muawiyah sebagai penguasa Suriah dan Amr bin Ash sebagai penguasa Mesir. Mereka berencana membunuh ketiga pemimpin itu.

Untuk mewujudkan rencana tersebut, mereka menyuruh Abdurrahman bin Muljam untuk membunuh Ali bin Abi Thalib di Kufah; Amr bin Bakar bertugas membunuh Amr bin Ash di Mesir; dan Hujaj bin Abdullah ditugaskan membunuh Muawiyah di Damaskus.

Hujaj tidak berhasil membunuh Muawiyah lantara dijaga ketat oleh pengawal. Sedangkan Amr bin Bakar tanpa sengaja membunuh Kharijah bin Habitat yang dikiranya Amr bin Ash. Saat itu Amr bin Ash sedang sakit sehingga yang menggantikannya sebagai imam shalat adalah Kharijah. Akibat perbuatannya, Kharijah pun dibunuh pula.

Sedangkan Abdurrahman bin Muljam berhasil membunuh Ali yang saat itu tengah menuju masjid. Khalifah Ali wafat pada tanggal 19 Ramadhan 40 H dalam usia 63 tahun. Syahidnya Ali bin Abi Thalib menandai berakhirnya era Khulafaur Rasyidin.