После присоединения Мекки к мусульманскому государству она постепенно стала терять свое политическое значение. После смерти пророка Мухаммада и начала мусульманских завоеваний, она стала провинциальным городом Халифата, так как находилась вдали от основных центров государства. Зато возросло ее религиозное значение. Этот город, в котором находится храм Кааба, стал религиозным центром не только для арабов, но и для мусульман всего мира. Все молитвы мусульман совершаются в направлении этого храма (См. Кибла).
В период правления Праведных халифов и первых Омейядов Кааба и ее окрестности реставрировались, там производились инженерные работы. Однако более основательная реконструкция храма началась в период правления омеййядского халифа аль-Валида, когда началась постройка вокруг Каабы архитектурного ансамбля Масджид аль-Харам. Для этого из всех концов Халифата в Мекку приехали лучшие архитекторы и мастера.
Управление Хиджазом, где находится Мекка, в период Омейядов осуществлялось халифскими наместниками, которые обычно были представителями правящей династии. В этот период там происходили бурные политические события, и даже вооруженные столкновения. В 64/684 году в Мекке обосновался Абдулла ибн Зубайр, который отказался признать законность
власти халифа Иазида ибн Муавии. Это привело к осаде города халифской армией. Однако Абдулле ибн Зубайру удалось выстоять, а вскоре пришло
известие о смерти халифа Иазида. После этого Омейяды ослабли и Абдулле ибн Зубайру удалось распространить свою власть на большую часть Халифата. В связи с этим он был признан халифом, и Мекка на протяжении более чем 10 лет стала столицей Халифата. Однако затем, с приходом к власти в Дамаске Абд аль-Малика ибн Марвана, Омейядам удалось вернуть свое политическое могущество. В 73/692 году их армия во главе с Хаджаджем подошла к Мекке, где произошли сражения с силами, верными Абдулле ибн Зубайру. Однако Хаджаджу удалось сломить сопротивление мекканцев, а сам Абдулла ибн Зубайр был убит в бою.