Ada beberapa faktor yang menyebabkan dinasti Bani Umayyah lemah dan membawanya kepada kehancuran. Faktor-faktor itu antara lain adalah:

1. Sistem pergantian khalifah melalui garis keturunan adalah sesuatu yang baru bagi tradisi Arab yang lebih menekankan aspek senioritas. Pengaturannya tidak jelas. Ketidakjelasan sistem pergantian khalifah ini menyebabkan terjadinya persaingan yang tidak sehat di kalangan anggota keluarga istana.
2. Latar belakang terbentuknya dinasti Bani Umayyah tidak bisa dipisahkan dari konflik-konflik politik yang terjadi di masa Ali. Sisa-sisa Syi’ah (para pengikut Ali) dan Khawarij terus menjadi gerakan oposisi, baik secara terbuka seperti di masa awal dan akhir maupun secara tersembunyi seperti di masa pertengahan kekuasaan Bani Umayyah. Penumpasan terhadap gerakan-gerakan ini banyak menyedot kekuatan pemerintah.
3. Pada masa kekuasaan Bani Umayyah, pertentangan etnis antara suku Arabia Utara (Bani Qays) dan Arabia Selatan (Bani Kalb) yang sudah ada sejak zaman sebelum Islam, makin meruncing. Perselisihan ini mengakibatkan para penguasa Bani Umayyah mendapat kesulitan untuk menggalang persatuan dan kesatuan. Disamping itu, sebagian besar golongan mawali (non Arab), terutama di Irak dan wilayah bagian timur lainnya, merasa tidak puas karena status mawali itu menggambarkan suatu inferioritas, ditambah dengan keangkuhan bangsa Arab yang diperlihatkan pada masa Bani Umayyah.
4. Lemahnya pemerintahan daulat Bani Umayyah juga disebabkan oleh sikap hidup mewah di lingkungan istana sehingga anak-anak khalifah tidak sanggup memikul beban berat kenegaraan tatkala mereka mewarisi kekuasaan. Disamping itu, golongan agama banyak yang kecewa karena perhatian penguasa terhadap perkembangan agama sangat kurang.
5. Penyebab langsung tergulingnya kekuasaan dinasti Bani Umayyah adalah munculnya kekuatan baru yang dipelopori oleh keturunan al-Abbas ibn Abd al-Muthalib. Gerakan ini mendapat dukungan penuh dari Bani Hasyim dan golongan Syi’ah, dan kaum mawali yang merasa dikelas duakan oleh pemerintahan Bani Umayyah.