63از قريش در اين باره پرسيد، عبدالله بن صفوان گفت: گور اسماعيل(ع) است؛ لذا ابن زبير آن را به حال خود رها كرد. او در اين حفريات پايههاى كعبه در زمان ابراهيم(ع) را كشف كرد و آن را بر همان اساس بازسازى كرد. بنابراين، حِجر اسماعيل كنونى، در دوران وى داخل بيت شد كه بعد از كشته شدن وى، حجاج خانه را تخريب و ديوار سمت حجر را به اندازه زمان قريش عقب برد و حجر را از كعبه بيرون گذاشت.
پيامبر(ص) به عايشه فرمودند: هرگاه خواستى دركعبه نماز بگزارى، درحجرنمازگزار كه بخشى از كعبه است، ليكن قوم تو آنگاه كه كعبه را مىساختند، از طول آن كاستند و آن را بيرون كعبه قرار دادند. اين گفته پيامبر(ص) نيز سندى است براى اين كه طواف در داخل حجر جايز نيست. البته برخى معتقدند از طول كعبه حتى يك وجب هم كاسته نشده و حجر جزو كعبه نبوده است بلكه اينجا محل دفن مادر اسماعيل بوده كه وى آن را سنگچين كرده بود تا كسى روى آن راه نرود.
حِجر كه اكنون با نيم دايرهاى كوتاه محصور شده، داراى ديوارى به ارتفاع 1/32 و عرض 1/5 متر با دو ورودى شرقى و غربى است. طول آن از ديوار كعبه (زير ناودان طلا) تا ديوار حِجر، حدود 6/80 متر و عرض آن ميان دو در شرقى و غربى 8/77 متر است. از اين مقدار سه متر آن، كه از ديوار كعبه آغاز مىشود، در طول، جزو كعبه و بناى اصلى است. در دوره منصور عباسى(140 ق.)، زمين آن براى نخستين بار با سنگ مرمر پوشيده شد و در دورههاى بعد نيز همواره سنگهاى حِجْر را تعويض و ترميم مىكردهاند و اكنون نيز با سنگ مرمر سفيد مفروش است. اما آنچه مشهور است اينكه در حجر، دختر، همسر و مادر اسماعيل (هاجر) و نيز