Den 22. august døde Abu Bakr, den første Rashidun-kalif , efter at have gjort Umar til sin efterfølger.Umars første skridt var at fritage Khalid fra kommandoen og udnævne Abu Ubaidah ibn al-Jarrah til den nye øverstkommanderende for den islamiske hær.Khalid lovede sin loyalitet over for den nye kalif og fortsatte med at tjene som en almindelig kommandør under Abu Ubaidah.Han siges at have sagt: "Hvis Abu Bakr er død, og Umar er kalif, så lytter vi og adlyder."Abu Ubaidah bevægede sig langsommere og mere stabilt, hvilket havde en samtidig effekt på militære operationer i Syrien.Abu Ubaidah, som var en beundrer af Khalid, gjorde ham til kommandør for kavaleriet og stolede stærkt på hans råd under hele felttoget.