Pada 22 Ogos, Abu Bakar, khalifah Rasyidin pertama, meninggal dunia, setelah menjadikan Umar sebagai penggantinya.Langkah pertama Umar ialah melepaskan Khalid daripada memerintah dan melantik Abu Ubaidah ibn al-Jarrah sebagai panglima tentera Islam yang baharu.Khalid berikrar taat setia kepada Khalifah baru dan terus berkhidmat sebagai panglima biasa di bawah Abu Ubaidah.Dia dilaporkan berkata, "Jika Abu Bakar telah mati dan Umar adalah Khalifah, maka kami mendengar dan taat."Abu Ubaidah bergerak lebih perlahan dan mantap, yang mempunyai kesan serentak terhadap operasi ketenteraan di Syria.Abu Ubaidah, sebagai pengagum Khalid, menjadikannya komander pasukan berkuda dan sangat bergantung pada nasihatnya sepanjang kempen.