Jawaban:

Abu Ubaidah berangkat bersama para utusan tersebut dengan menyandang gelar "orang kuat yang terpercaya".

Abu Ubaidah selalu mengikuti Rasulullah berperang dalam tiap peperangan yang beliau pimpin, hingga beliau wafat.

Dalam musyawarah pemilihan khalifah yang pertama (Al-Yaum Ats-Tsaqifah), Umar bin Al-Khathab mengulurkan tangannya kepada Abu Ubaidah seraya berkata, "Aku memilihmu dan bersumpah setia, karena aku pernah mendengar Rasulullah bersabda, 'Sesungguhnya tiap-tiap umat mempunyai orang kepercayaan. Dan orang paling dipercaya dari umat ini adalah engkau."

Abu Ubaidah menjawab, "Aku tidak mau mendahului orang yang pernah disuruh Rasulullah untuk mengimami kita shalat sewaktu beliau hidup—Abu Bakar Ash-Shiddiq. Walaupun sekarang beliau telah wafat, marilah kita imamkan juga dia."

Akhirnya mereka sepakat untuk memilih Abu Bakar menjadi khalifah pertama, sedangkan Abu Ubaidah diangkat menjadi penasihat dan pembantu utama khalifah.

Setelah Abu Bakar wafat, jabatan khalifah pindah ke tangan Umar bin Al-Khathab. Abu Ubaidah selalu dekat dengan Umar dan tidak pernah menolak perintahnya. Pada masa pemerintahan Umar, Abu Ubaidah memimpin tentara Muslimin menaklukkan wilayah Syam (Suriah). Dia berhasil memperoleh kemenangan berturut-turut, sehingga seluruh wilayah Syam takluk di bawah kekuasaan Islam, dari tepi sungai Furat di sebelah timur hingga Asia kecil di sebelah utara.