Sebelum menjadi khalifah, Umar bin Abdul Aziz, setiap hari mengganti pakaian lebih dari satu kali. Ia juga memiliki emas dan perak, pembantu dan istana, makanan dan minuman serta segala. Akan tetapi, ketika ia memangku jabatan kekhalifahan, semua kemewahan itu ditinggalkan. Suatu kali, khalifah Umar bin Abdul Aziz agak terlambat shalat Jumat sehingga banyak orang yang mencelanya. Umar menjawab, ''Maafkan, aku terpaksa menunggu pakaianku yang sedang dicuci sampai kering.'' Maslamah bin Abdul Malik menjenguk Umar bin Abdul Aziz yang sedang sakit.

Ia melihat baju yang dipakai khalifah Umar bin Abdul Aziz sedemikian lusuh dan kotornya. Ia kemudian berkata kepada Fatimah, istri Umar yang tak lain adalah juga adik Maslamah bin Abdul Malik. ''Tidakkah kau bisa mencucikan pakaiannya?'' Fatimah menjawab, ''Demi Allah, ia tidak memiliki baju selain yang dipakainya itu. Jika aku mencucinya, ia tidak berpakaian lagi.''

Usai shalat isya, biasanya Umar bin Abdul Aziz masuk menemui putri-putrinya dan mengucapkan salam kepada mereka. Suatu malam ia masuk menemui mereka. Begitu merasakan kedatangan Umar, mereka spontan meletakkan tangan mereka pada mulut mereka dan langsung meninggalkan pintu. Umar bertanya pada pembantu wanitanya, ''Ada apa dengan mereka?''

Pembantu wanitanya menjawab, ''Tidak ada yang bisa mereka santap buat makan malam kecuali adas dan bawang. Mereka tidak mau, baunya itu tercium dari mulut mereka.'' Umar lantas berkata kepada mereka, ''Hai putri-putriku, apa manfaatnya bagi kalian makan makanan yang enak dan bermacam-macam jika hal itu menyeret ayahmu ke neraka.'' Putri-putri Umar itu lalu menangis hingga terdengar keras suaranya, lalu Umar bergegas pergi.

Di lain kesempatan, Yahya bin Said berkata, ''Umar bin Abdul Aziz mengutusku menarik zakat di Afrika maka aku jalankan. Aku mencari-cari sekiranya ada kaum fakir yang dapat kami beri bagian zakat itu, ternyata tidak kami temui orang fakir sama sekali dan tidak aku temui orang yang mau mengambil zakat dariku. Umar bin Abdul Aziz telah membuat rakyatnya kaya dan makmur. Akhirnya, uang zakat itu aku belikan budak dan budak itu aku merdekakan, dan mereka setia pada kaum Muslimin.''

Begitu memegang khilafah, Umar bin Abdul Aziz segera mengembalikan barang-barang yang diambil dengan zalim dan jatah-jatah tanah rakyat yang dikapling-kapling sewenang-wenang atas nama negara. Khalifah sebelumnya, yaitu Sulaiman bin Abdul Malik, telah membuat surat perintah untuk memberikan harta kepada Anbasah bin Said bin Ash sebanyak 20 ribu dinar.

Anbasah telah mengurusnya dari satu kantor ke kantor yang lain hingga sampai di kantor pengesahan dan tinggal menerima harta itu, tetapi Sulaiman lebih dulu meninggal dan ia belum sempat menerima uang itu.