Pada masa pemerintahan Khulafaur Rasyidin mulailah adanya perselisihan. Awal mula adanya perselisihan dipicu oleh Abdullah bin Saba’ (seorang yahudi) pada pemerintahan khalifah Utsman bin Affan dan berlanjut pada masa khalifah Ali. Dan awal mula adanya gejala timbulnya aliran-aliran adalah sejak kekhalifahan Utsman bin Affan (khalifah ke-3 setelah wafatnya Rasulullah).

Pada masa itu di latar belakangi oleh kepentingan kelompok, yang mengarah pada terjadinya perselisihan sampai terbunuhnya khalifah Utsman bin Affan. Kemudian digantikan oleh Ali bin Abi Thalib, pada masa itu perpecahan di tubuh umat islam terus berlanjut. Umat islam pada masa itu ada yang pro terhadap kekhalifahan Ali bin Abi Thalib yang menamakan dirinya kelompok syi’ah, dan yang kontra yang menamakan dirinya kelompok Khawarij.

Akhirnya perpecahan memuncak, kemudian terjadilah perang jamal yaitu perang antara Ali dengan Aisyah dan perang Siffin yaitu perang antara Ali dengan mu’awiyah. Bermula dari itulah akhirnya timbul berbagai aliran di kalangan umat islam, masing-masing kelompok juga terpecah belah, akhirnya jumlah aliran di kalangan umat islam menjadi banyak, seperti aliran syi’ah, khawarij, murji’ah,dll