La 22 august, Abu Bakr, primul calif Rashidun , a murit, după ce l-a făcut pe Umar succesorul său. Prima mișcare a lui Umar a fost să-l elibereze pe Khalid de la comandă și să-l numească pe Abu Ubaidah ibn al-Jarrah ca noul comandant șef al armatei islamice. Khalid și-a promis loialitatea noului calif și a continuat să servească ca comandant obișnuit sub Abu Ubaidah. Se spune că el a spus: „Dacă Abu Bakr este mort și Umar este calif, atunci ascultăm și ne supunem”.
Abu Ubaidah sa mișcat mai încet și mai constant, ceea ce a avut un efect concomitent asupra operațiunilor militare din Siria. Abu Ubaidah, fiind un admirator al lui Khalid, l-a făcut comandant al cavaleriei și s-a bazat foarte mult pe sfaturile sale pe parcursul întregii campanii.