260پس از آنكه گنبد زمزم را ويران ساختند،به سوى سرزمين خود،رهسپار شدند.
از اين پس جايگاه«حجر الاسود»تهى مانده و مردم به آن جايگاه خالى،خود را متبرك مىساختند.پس از مرگ ابوطاهر،قوم او ديدند كه امكان ندارد مسير حجگزاران كعبه را به سوى كشور خود تغيير دهند.«شنبر بن حسين قرمطى»حجر الاسود را به مكه آورد-در حالى كه آن را در ميان طوقى از نقره قرار داده بود تا بدين وسيله از جدا شدن قطعههاى شكسته شدۀ آن كه به هنگام خارج ساختن از جايگاهش آسيب ديده بود، جلوگيرى نمايد-پس حجر الاسود همانند حالا كه آن را مىبيند،در جاى خود قرار داده شد.در سال 411 هجرى،مردى در هيأت درويش به حرم وارد شد و با عمودى از آهن كه در دست داشت بر حجر الاسود كوبيد.در اين هنگام مردم مكه بر او هجوم آوردند و او را به هلاكت رسانيدند.در نتيجه حركت اين مرد سه قطعه به اندازۀ ناخن انسان از سنگ جدا گرديد كه مجدداً سه قطعۀ ياد شده در جاى خود اتصال داده شد آن چنان كه غير قابل تشخيص مىباشد.ادعا مىكنند كه«حاكم بأمر اللّٰه فاطمى» 1آن مرد را فرستاده بود تا حجر الاسود را خرد كرده و بتواند روى مسلمانان را از كعبه به مسجد خود در كنار «باب الفتوح»قاهره متوجه گرداند!
همچنين برخى عقيده دارند،كوششى كه«عبدالملك بن مروان»در ساختمان بيت المقدس نمود و آن را با عظمت،مستحكم و زيبا بنا نمود،بدين جهت بوده است كه مسلمانان شام و مصر و قسمتهايى از شمال و غرب آن را كه بر آنان حكومت مىكرده است به سوى آن مكان متوجه گرداند و در صورتى كه پيروزى از آن«ابن زبير»شود و سرزمين حجاز را زير نفوذ خود درآورد،محلى براى حج مسلمانان داشته باشد.همچنان كه ادعا مىكنند:«منصور عباسى»هنگامى كه شهر بغداد را بنا كرد و كاخ مشهور خود يعنى كاخ طلايى را در آن شهر ساخت،در كنار آن«قبة الخضرا»را بنا كرد و زيور آلات فراوانى را در آن به كار برد تا نظر مردم را بدان سوى متوجه سازد.اما اين گفتهها و ادعاها، همگى تهمت بوده و افراد ياد شده،هيچ گاه چنين منظورى نداشتهاند.