Początkowa budowa Kopuły na Skale została podjęta przez kalifat Umajjadów na rozkaz Abd al-Malika podczas Drugiej Fitny w latach 691–692 n.e. i od tego czasu znajduje się na szczycie Drugiej Świątyni Żydowskiej (zbudowanej w r. ok. 516 pne w miejsce zniszczonej Świątyni Salomona), która została zniszczona przez Rzymian w 70 roku n.e.Kopuła na Skale jest w swej istocie jednym z najstarszych zachowanych dzieł architektury islamu.Jego architektura i mozaiki były wzorowane na pobliskich bizantyjskich kościołach i pałacach, chociaż jego wygląd zewnętrzny znacznie się zmienił w okresie osmańskim i ponownie w okresie nowożytnym, zwłaszcza po dodaniu pozłacanego dachu w latach 1959–61 i ponownie w 1993 .