22 августа умер Абу Бакр, первый халиф Рашидун , сделав Умара своим преемником.Первым шагом Умара было освобождение Халида от командования и назначение Абу Убайды ибн аль-Джарры новым главнокомандующим исламской армии.Халид присягнул новому халифу и продолжил службу в качестве рядового командира под командованием Абу Убайды.Сообщается, что он сказал: «Если Абу Бакр мертв, а Умар - халиф, тогда мы слушаем и подчиняемся».Абу Убайда действовал более медленно и устойчиво, что имело сопутствующее влияние на военные операции в Сирии.Абу Убайда, будучи поклонником Халида, назначил его командующим кавалерией и во многом полагался на его советы на протяжении всей кампании.