اشتهر الخديو إسماعيل بضعفه الشديد أمام النساء، خاصة الحسناوات منهن فقد كانسببا في اغراق مصر في الديون وتسبب كرمه الشديد الذي وصل إلي حد البذخ فيما يختص بهذه الناحية من إقامة الاحتفالات والولائم ومنح عطاياه في مختلف المناسبات إلي أن قام بالاستدانة من الرعايا الأجانب المقيمين في داخل وخارج المحروسة، مما نتج عنه أن صارت ديونه فرصة ذهبية ومبررا قويا للدول الاستعمارية (انجلتراوفرنسا) للتدخل السافر في شئون مصر وكانت الحجة الأساسية للتدخل لمراقبة الميزانية نيابة عن اصحاب الدين من الأجانب للوفاء بمستحقاته. عندما قاوم الخديو إسماعيل السلطان العثماني في الاستانة والتدخل الأجنبي في مصر تحالفا ضده وقاما بعزله وتولية ابنه الخديو توفيق الذي كان محدود الأفق للغاية. كان حلم إسماعيل الكبير أن يجعل مصر نسخة مصغرة من أوروبا وبالتحديد فرنسا فعمل علي هذا، ولكنه أسرف في أحلامه فاستدان عند افتتاحه قناة السويس التي تزامن افتتاحها مع افتتاح دار الأوبرا المصرية التي دعا إلي افتتاحها ملوك وأمراء أوروبا وطبعا الامبراطورة أوجيني علي رأس قائمة المدعوين. وبهذه المناسبة طلب من الموسيقار الايطالي الشهير جوزييه فيردي أن يقوم بتلحين أوبرا عايدة مقابل 150 ألف فرنك فرنسي من الذهب الخاص وبالرغم من انتهاء فيردي من العمل، فإنها لم تعرض في الافتتاح بسبب تأخير وصول ملابس المسرحية واكسسواراتها وديكوراتها والتي تكلفت 250 ألف فرنك فرنسي من الذهب الخالص أيضا، وقدمت بدلا منها أوبرا ريجوليتو وهي مأخوذة عن مسرحية للكاتب الفرنسي فيكتور هوجو. عشقه لأوجيني وعرف في هذا الوقت تدله الخديو اسماعيل في عشق الامبراطورة أوجيني منذ أن كانت اميرة، ولذلك قام بحيلة ماكرة جدا وهي أنه امر برصف الطريق الذي سيمر به عند ذهابهما لزيارة الأهرام بشكل مائل وذلك حتي تميل عليه بجلستها في الدوكار عند ذهابهما ويميل هو عليها عند العودة أو العكس حسب بروتوكول الجلسة في ذاك الوقت ، وبالرغم من رعونة وبذخ اسماعيل فإننا لا نستطيع أن ننكر أنه صاحب أكبر انجازات تاريخية مثل حفر قناة السويس وبناء الأوبرا وحفر مئات الترع والمصارف وإصلاح آلاف الأفدنة من الأراضي الزراعية ومد الطرق والكباري وبناء أعظم القصور التي تعد ثروة معمارية وانشائية مازالت محل اعجاب وانبهار لكل من يشاهدها. ولقد كان للوالدة باشا خوشيار هانم أم الخديو اسماعيل وزوجة ابراهيم باشا نصيب من هذا الكرم الحاتمي، فقد امر ببناء قصر الزعفران خصيصا لها وسمي هذا القصر( مقر إدارة جامعة عين شمس حاليا) بهذا الاسم نظرا لزراعته بنبات الزعفران ذي الرائحة الذكية، والتي كانت الوالدة باشا مغرمة بها ولم يكن قصر الزعفران أجمل القصور وأوسعها ولكن ذاع صيته بسبب تكوينه المعماري الفريد والذي يضاهي قصر فرساي في فرنسا التي كان الخديوي مولعا بثقافتها وايضا بسبب اختياره كسكن للوالدة باشا أم الخديو. وشهد قصر الزعفران توقيع معاهدة 36 وميلاد الملك فاروق آخر حكام أسرة محمد علي. وصورت به مشاهد فيلم (رد قلبي) للأديب الراحل يوسف السباعي بطولة مريم فخر الدين واحمد مظهر وشكري سرحان وصلاح ذوالفقار. كان الخديو اسماعيل من أكثر الشخصيات اثارة للجدل، لكن انصاف الدور الذي قام به، جاء عبر مسلسل «بوابة الحلواني» للكاتب محفوظ عبدالرحمن.