يعتقد المسلمون أن أول من بناها هم الملائكة، وتفيد الروايات التاريخية أن الكعبة بنيت 12 مرة عبر التاريخ وفيما يلي أسماء البناة: الملائكة وآدم وشيث بن آدموإبراهيم وإسماعيل والعمالقة وجرهم وقصي بن كلاب وقريش وعبد الله بن الزبير عام 65 ه، والحجاج بن يوسف عام 74 ه، والسلطان مراد الرابع عام 1040 ه
ويبدأ تاريخ المسجد الحرام بتاريخ بناء الكعبة المشرفة، وقد بناها -كما تقدم- أول مرة الملائكة عليهم السلام قبل آدم،، لكنها هدمت بفعل طوفان نبي الله نوح. بعد الطوفان قام النبي إبراهيم مع ابنه إسماعيل عليهما السلام بإعادة بناء الكعبة، بعد أن أوحى الله الى إبراهيم بمكان البيت
قال تعالى: بناء الكعبة وَإِذْ بَوَّأْنَا لِإِبْرَاهِيمَ مَكَانَ الْبَيْتِ أَنْ لَا تُشْرِكْ بِي شَيْئًا وَطَهِّرْ بَيْتِيَ لِلطَّائِفِينَ وَالْقَائِمِينَ وَالرُّكَّعِ السُّجُودِ بناء الكعبة بناء الكعبة
وهكذا أمر الله سبحانه وتعالى إبراهيم ببناء البيت الحرام وذكر القرآن الكريم بناء سيدنا إبراهيم وابنه إسماعيل عليهما السلام للكعبة وتطهير المساحة المحيطة به، ولقد جاءه (أي إبراهيم ) جبريل بالحجر الأسود
ولم يكن في بادئ الأمر أسود بل كان أبيضاً يتلألأ من شدة البياض