56سنگهايش را در اطرافش چيدند تا به پى ساختمان كه ابراهيم(ع) كار گذاشته بود، رسيدند.
چون خواستند بر پهناى كعبه بيفزايند و پايه‌هايى را كه ابراهيم(ع) بنيان كرده بود، تكان دادند، زلزله‌اى سهمناك درگرفت و تاريكى همه جا را گرفت، پس دست از آن كشيدند. بناى ابراهيم(ع)، طولش سى‌ذراع و عرضش بيست و دو زراع و ارتفاعش نه ذراع بود. قريش گفتند: پس بر ارتفاعش مى‌افزاييم، با اين تصميم، به بناى آن پرداختند. چون ساختمان به محلّ حجرالاسود رسيد، بين قريش در كارگذارى آن مشاجره درگرفت، هر قبيله مدّعى شد كه در انجام اين كار سزاوارتر از ديگران است و اين كار به عهدۀ اوست. وقتى مشاجره بالا گرفت و به طول انجاميد بدين رضا دادند كه هر كس از باب بنى‌شيبه داخل شود، سخن و قضاوت او را در اين امر بپذيرند. اتفاقاً پيامبر(ص) سر رسيد قريش گفتند:
«اين امين است كه آمده است» و او را داور و حاكم ساختند. پيامبر(ص) رداى خويش را گسترد و حجرالاسود را بر آن نهاد و گفت: «از هر طايفۀ قريش مردى بيايد».
«عتبة بن ربيعة بن عبد شمس» و «اسود بن المطلب» از بنى اسد بن عبدالعزّىٰ، و «ابوحذيفة بن المغيره» از بنى فخروم، و «قيس بن عدى» از بنى سهم آمدند و چهار گوشۀ رداى رسول‌اللّٰه(ص) را برگرفتند و بلند كردند، پيامبر(ص) سنگ را برگرفت و بر جايش نهاد.
پادشاه روم، يك كشتى از چوب و ابزارآلات و پوشش سقف، همراه جمعى كارگر، به جانب حبشه روانه ساخته بود تا در آنجا صومعه‌اى بنا كنند. طوفان، كشتى را به ساحل افكند، قريش خبردار شدند، رو به ساحل نهادند و چوب و تخته و زيورآلاتى را كه به درد ساختمان كعبه مى‌خورد، خريدند و به مكّه آوردند. مقدار چوبها درست برابر با بناى كعبه (به استثناى حجرالاسود) بود و چون كعبه را بنا كردند، آن را با جامه‌هايى پوشاندند.
در اصول كافى از حضرت صادق(ع) روايت شده است كه فرمود:
«قريش در عصر جاهليّت، خانه كعبه را فرو ريختند و چون خواستند دوباره بنايش كنند، امر مرموزى مانع آنها مى‌شد وترس درونشان را فرا مى‌گرفت تا آنكه يكى از آنان گفت: بايد هر كدامتان، پاكترين مالتان را بياوريد و مبادا مالى بياوريد كه از راه حرام به دست آمده و يا در جريان كسب آن، احترام پيوند خويشاوندى رعايت نشده باشد. پس چنين كردند و بر اثر آن، مانع بر طرف شد و به تجديد بناى آن موفق شدند تا به محل