Kalliokupolin ensimmäisen rakentamisen suoritti Umayyad-kalifaatti Abd al-Malikin käskystä toisen Fitnan aikana vuosina 691–692 jKr., ja se on sittemmin sijainnut toisen juutalaisen temppelin päällä (rakennettu vuonna noin 516 eaa. tuhoutuneen Salomon temppelin tilalle), jonka roomalaiset tuhosivat vuonna 70 jKr.Kalliokupoli on ytimessä yksi vanhimmista säilyneistä islamilaisen arkkitehtuurin teoksista.Sen arkkitehtuuri ja mosaiikit on muotoiltu läheisten bysanttilaisten kirkkojen ja palatsien mukaan, vaikka sen ulkonäkö muuttui merkittävästi ottomaanien aikana ja uudelleen nykyaikana, varsinkin kun siihen lisättiin kullattu katto, vuosina 1959–61 ja uudelleen vuonna 1993. .