Pendidikan Islam pada masa Rasulullah, menurut kotanya, dibedakan menjadi dua, yaitu pendidikan Islam di Kota Makkah dan Madinah.

Pokok pembinaan pendidikan Islam di Kota Makkah adalah pendidikan tauhid, titik beratnya adalah menanamkan nilai-nilai tauhid ke dalam jiwa setiap individu muslim, agar jiwa mereka terpancar sinar tauhid dan tercermin dalam perbuatan dan tingkah laku dalam kehidupan sehari-hari.

Dalam masa pembinaan pendidikan agama Islam di Makkah Nabi Muhammad juga mengajarkan Alquran karena Alquran merupakan intisari dan sumber pokok ajaran Islam. Disamping itu Nabi Muhamad SAW juga mengajarkan tauhid kepada umatnya.

Intinya, pendidikan dan pengajaran yang diberikan Nabi selama di Makkah ialah pendidikan keagamaan dan akhlak serta menganjurkan kepada manusia supaya mempergunakan akal pikirannya dalam memperhatikan kejadian manusia, hewan, tumbuh-tumbuhan dan alam semesta sebagai anjuran pendidikan ‘akliyah dan ilmiyah.

Mahmud Yunus dalam bukunya yang berjudul Sejarah Pendidikan Islam, menyatakan bahwa pembinaan pendidikan Islam di Makkah meliputi:

Pendidikan keagamaan, yaitu hendaklah membaca dengan nama Allah semata jangan dipersekutukan dengan nama berhala.

Pendidikan akliyah dan ilmiah, yaitu mempelajari kejadian manusiadari segumpal darah dan kejadian alam semesta.

Pendidikan akhlak dan budi pekerti, yaitu Nabi Muhammad SAW mengajarkan kepada sahabatnya agar berakhlak baik sesuai dengan ajaran tauhid.

Pendidikan jasmani atau kesehatan, yaitu mementingkan kebersihan pakaian, badan dan tempat kediaman.

Sedangkan pokok pembinaan pendidikan Islam di kota Madinah dapat dikatakan sebagai pendidikan sosial dan politik. Yang merupakan kelanjutan dari pendidikan tauhid di Makkah, yaitu pembinaan di bidang pendidikan sosial dan politik agar dijiwai oleh ajaran Islam, dan merupakan cerminan dari sinar tauhid tersebut.

Cara Nabi melakukan pembinaan dan pengajaran pendidikan agama Islam di Madinah adalah dengan membentuk dan membina masyarakat baru menuju satu kesatuan sosial dan politik. Nabi Muhammad SAW mulai meletakan dasar-dasar terbentuknya masyarakat yang bersatu padu secara intern (ke dalam), dan ke luar diakui dan disegani oleh masyarakat lainnya (sebagai satu kesatuan politik). Dasar-dasar tersebut adalah:

Nabi Muhammad saw mengikis habis sisa-sisa permusuhan dan pertentangan antar suku dengan jalan mengikat tali persaudaraan diantara mereka. Nabi mempersaudarakan orang-orang dari berbagai kaum, mula-mula diantara sesama kaum Muhajirin, kemudian diantara Muhajirin dan Anshar. Dengan lahirnya persaudaraan itu bertambah kokohlah persatuan kaum muslimin.

Untuk memenuhi kebutuhan sehari-hari, Nabi Muhammad menganjurkan kepada kaum Muhajirin untuk berusaha dan bekerja sesuai dengan kemampuan dan pekerjaan masing-masing seperti waktu di Makkah.

Untuk menjalin kerjasama dan saling menolong dalam rangka membentuk tata kehidupan masyarakat yang adil dan makmur, turunlah syari’at zakat dan puasa, yang merupakan pendidikan bagi warga masyarakat sebagai bentuk tanggung jawab sosial, baik secara materil maupun moral.

Suatu kebijaksanaan yang sangat efektif dalam pembinaan dan pengembangan masyarakat baru di Madinah, adalah disyari’atkannya media komunikasi berdasarkan wahyu, yaitu shalat juma’t yang dilaksanakan secara berjama’ah dan adzan. Dengan sholat jum’at tersebut hampir seluruh warga masyarakat berkumpul untuk secara langsung mendengar khutbah dari Nabi Muhammad SAW dan shalat jum’at berjamaah.

Kesimpulanya, sejarah pendidikan Islam di masa Rasul sangat menekankan pada pemahaman dan penghafalan Alquran. Pada masa ini, keilmuan yang berkembang belum terlalu meluas seperti pada masa setelahnya. Adapun cara pengajarannya sangat sederhana yaitu dengan bertatapan langsung antara pendidik dan peserta didiknya, sehingga pelajaran lebih cepat dipahami.