Khalifah kedua dalam Islam juga orang kedua dari kalangan Khulafaur Rasyidin. Ia merupakan satu diantara tokoh-tokoh besar dalam sejarah Islam. Ia terkenal dengan tekad dan kehendaknya yang sangat kuat, cekatan, dan karakternya yang berterus terang, Sebelum menjadi khalifah dikenal sebagai pribadi yang keras dan tidak mengenal kompromi dan bahkan kejam. Dibawah pemerintahannya imperium Islam meluas dengan kecepatan yang luar biasa. Dapat dikatakan bahwa orang yang terbesar pengaruhnya setelah Nabi dalam membentuk pemerintahan Islam dan menegaskan coraknya adalah Umar ibnu Khattab.

Abu Bakar telah menyaksikan persoalan yang timbul dikalangan kaum muslimin setelah Nabi wafat, berdasarkan hal inilah Abu Bakar menunjuk penggantinya yaitu Umar bin Khattab, yang tujuannya adalah untuk mencegah supaya tidak terjadi perselisihan dan perpecahan di kalangan umat Islam, kebijakan Abu bakar tersebut ternyata diterima masyarakat. Pada masa khalifah Umar bin Khattab, kondisi politik dalam keadaan stabil, usaha perluasan wilayah Islam memperoleh hasil yang gemilang. Wilayah Islam pada masa ini meliputi Semenanjung Arabia, Palestina, Syiria, Irak, Persia dan Mesir.

Dengan meluasnya wilayah Islam mengakibatkan meluas pula kehidupan dalam segala bidang. Untuk memenuhi kebutuhan ini diperlukan manusia yang memiliki keterampilan dan keahlian, sehingga dalam hal ini diperlukan pendidikan.

Pada masa khalifah Umar bin Khattab, sahabat-sahabat yang sangat berpengaruh tidak diperbolehkan keluar daerah kecuali atas izin dari khalifah dan dalam waktu yang terbatas. Jadi, kalau ada diantara umat Islam yang ingin belajar hadits harus pergi ke Madinah, ini berarti bahwa penyebaran ilmu dan pengetahuan para sahabat dan tempat pendidikan adalah berpusat di Madinah. Tetapi tidak berarti bahwa penyebaran dan pendidikan Islam kurang memiliki pengaruh keluar daerah madinah. Melakukan dakwah dan tabligh serta mengajarkan agama Islam dengan giat.

Berkaitan dengan masalah pendidikan ini, khalifah Umar bin Khattab merupakan seorang pendidik yang melakukan penyuluhan pendidikan di kota Madinah, beliau juga menerapkan pendidikan di masjid-masjid dan pasar-pasar serta mengangkat guru-guru untuk tiap-tiap daerah yang ditaklukkan, mereka bertugas mengajarkan isi al-Qur’an dan ajaran Islam lainnya, seperti fiqih kepada penduduk yang baru masuk Islam.

Di antara sahabat-sahabat yang ditunjuk oleh Umar bin Khattab ke daerah adalah Abdurrahman bin Ma’qal dan Imran bin Al-Hashim. Kedua orang ini ditempatkan di Basyrah. Abdurrahman bin Ghanam dikirim ke Syiria dan Hasan bin Abi Jabalah dikirim ke Mesir. Adapun metode yang mereka pakai adalah guru duduk di halaman masjid sedangkan murid melingkarinya.

Yang menjadi pendidik adalah Umar dan para sahabatnya yang lebih dekat dengan Rasulullah yang memiliki pengaruh besar, sedangkan pusat pendidikanya selain Madinah adalah Mesir, Syiria, dan Basyrah.

Meluasnya kekuasaan Islam, mendorong kegiatan pendidikan Islam bertambah besar, karena mereka yang baru menganut agama Islam ingin menimba ilmu keagamaan dari sahabat-sahabat yang menerima langsung dari Nabi. Pada masa itu telah terjadi mobilitas penuntut ilmu dari daerah-daerah yang jauh dari madinah, sebagai pusat agama Islam. Gairah menuntut ilmu agama Islam ini yang kemudian mendorong lahirnya sejumlah pembidangan disiplin keagamaan.

Pada masa khalifah Umar bin Khattab, mata pelajaran yang diberikan adalah membaca dan menulis al-Qur’an dan menghafalnya serta belajar tentang pokok-pokok agama Islam. Pada masa ini tuntutan untuk belajar Bahasa Arab juga sudah mulai tampak, orang yang baru masuk Islam dari daerah yang ditaklukkan harus belajar Bahasa Arab jika ingin belajar dan memahami pengetahuan Islam.

Pelaksanaan pendidikan di masa khalifah Umar bin Khattab lebih maju, sebab selama Umar memerintah negara berada dalam keadaan stabil dan aman, ini disebabkan disamping telah ditetapkannya masjid sebagai pusat pendidikan, juga telah terbentuknya pusat-pusat pendidikan Islam diberbagai kota dengan materi yang dikembangkan, baik dari segi ilmu bahasa, menulis, dan pokok ilmu-ilmu lainnya. Pendidikan dikelola di bawah pengaturan gubernur yang berkuasa saat itu, serta diiringi kemajuan di berbagai bidang, seperti jawatan pos, kepolisian, dan baitulmal. Adapun sumber gaji pendidik pada waktu itu diambilkan dari daerah yang ditaklukkan dan dari baitulmal.