Pada tanggal 22 Agustus, Abu Bakar, khalifah Rashidun pertama, meninggal dunia, setelah mengangkat Umar sebagai penggantinya.Langkah pertama Umar adalah memecat Khalid dari komando dan mengangkat Abu Ubaidah ibn al-Jarrah sebagai panglima tentara Islam yang baru.Khalid berjanji setia kepada Khalifah baru dan terus menjabat sebagai komandan biasa di bawah Abu Ubaidah.Beliau diriwayatkan pernah berkata, “Jika Abu Bakar telah wafat dan Umar menjadi khalifah, maka kami mendengarkan dan menaatinya.”Abu Ubaidah bergerak lebih lambat dan mantap, yang berdampak pada operasi militer di Suriah.Abu Ubaidah, sebagai pengagum Khalid, mengangkatnya menjadi komandan kavaleri dan sangat bergantung pada nasihatnya selama seluruh kampanye.