Op 22 augustus stierf Abu Bakr, de eerste Rashidun-kalief , nadat hij Umar tot zijn opvolger had benoemd.Umars eerste stap was om Khalid van het bevel te ontslaan en Abu Ubaidah ibn al-Jarrah te benoemen tot de nieuwe opperbevelhebber van het islamitische leger.Khalid beloofde zijn loyaliteit aan de nieuwe kalief en bleef dienen als gewone commandant onder Abu Ubaidah.Er wordt gezegd dat hij heeft gezegd: "Als Abu Bakr dood is en Umar de kalief is, luisteren en gehoorzamen we."Abu Ubaidah bewoog zich langzamer en gestaag, wat een gelijktijdig effect had op de militaire operaties in Syrië.Abu Ubaidah, een bewonderaar van Khalid, benoemde hem tot commandant van de cavalerie en vertrouwde gedurende de hele campagne zwaar op zijn advies.