Огромное святилище было построено на месте древней мечети 630 года, еще во времена пророка Мухаммеда. За долгие годы она пережила массу разрушений и войн и не раз реставрировалась.

На территории Большой мечети есть колонны, возведенные еще в доисламские времена или в период Сабейского царства, а также постаменты, оставшиеся от христианской церкви Калис. Основную часть ансамбля построили в XII столетии.