نبتت فكرة «الكتبخانة» في عقل رجل التعليم في مصر "علي باشا مبارك" الذي كان معجبًا بالمكتبة الوطنية في باريس، وعرض الفكرة على الخديو إسماعيل ورغبة منه في أن تكون مصر قطعة من باريس، وافق عليها على الفور وصدر الفرمان بميلاد الكتبخانة، لحفظ ثروات مصر الثقافية في 23 مارس 1870. ومضى "علي مبارك" يدور بمكتبات المساجد والتكايا والمدارس القديمة يجمع مقتنياتها الفريدة من مخطوطات ومصاحف وكتب نادرة، ليودعها في أول مقر للكتبخانة بقصر الأمير مصطفى فاضل (شقيق الخديو إسماعيل ) بدرب الجماميز. ونقلت إليها مقتنيات المكتبة الخديوية القديمة التي أنشأها محمد علي بالقلعة عام 1828، وكانت تحتوى ألف كتاب ومخطوط، كما نقلت إليها محتويات مكتبة "قولة " التي أنشأها محمد علي أيضًا في قصره. وتوالت المجموعات النفيسة من الكتب والمخطوطات لتسكن أروقة الكتبخانة من المكتبة التيمورية ومكتبة خليل أغا، ومكتبة السيد عمر مكرم وغيرها من المكتبات التي كان أنشأها أصحابها على نفقتهم الخاصة. وكما نشرت مجلة "الهلال" عام 1937 (اشترى الخديو إسماعيل مكتبة شقيقه مصطفى فاضل بمبلغ ألف ليرة عثمانية، ليهديها إلى دار الكتب الجديدة التي سميت الكتبخانة، وتولى الإنجليزي الدكتور شيترين رئاسة دار الكتب على أن تشرف عليها ديوان الأوقاف). وعند تولى الخديو توفيق أوقف على الكتبخانة 1806 أفدنة من الأطيان الزراعية في بعض المحافظات. وحين ضاقت الكتبخانة بالكتب تقدمت نظارة الأشغال العمومية في 6 يناير 1898، باقتراح مشروع لبناء الكتبخانة حتى أصدر الخديو عباس حلمي الثاني أمر بنزع الأرض لبناء الكتبخانة الخديوية، فوضع الخديو حجر الأساس لبناء الكتبخانة المصرية في مكانها بباب الخلق. وخصص الطابق الأرضي لدار الآثار العربية "الانتيكخانة " التي تحولت إلى المتحف الإسلامي فيما بعد وفتحت الدار أبوابها للجمهور عام 1904.