في شتاء 2008 اتصل مسؤول المجلس الأعلى لمدينة الأقصر في تلك الفترة، بملاك فندق "كوين فالي"، وطلب منهم إعداد الطابق الأخير من الفندق لاستقبال الدكتور أحمد نظيف رئيس الوزراء وقتها، من فوق سطح الفندق شرح سمير فرج أسبابه لرئيس الوزراء التي تدعوه لهدم قصرين تجاوز عمرهما المائة عام، يطلان على النيل ويجاوران معبد الأقصر، لم يتردد "نظيف" ووافق شفهيًا على ما اقترحه سمير فرج الذي كان يحظى بدعم حكومي واسع لتنفيذ مشروع تحويل المدينة الأثرية إلى متحف مفتوح، رغم حالة الاحتقان الشعبي من الأهالي، وعدم رضاهم عن هدم بيوتهم ومتاجرهم. وكان ذلك القصر هو قصر يسى أندراوس شقيق السياسي توفيق أندراوس نائب الأقصر عن حزب الوفد في الفترة من 1921 1935، وبنُي القصر سنة 1897، وكان مالك القصر فضلا عن كونه أحد أكبر أصحاب الملكيات الزراعية في مصر، قنصلا فخريًا لعدد من الدول الأوروبية في الأقصر، وهو الذي كان يجاور قصر توفيق أندراوس القائم حتي وقتنا هذا جوار معبد الأقصر علي النيل مباشرة، في نهاية 2008 صدر رسميًا قرار الإزالة بهدمه والإبقاء علي قصر شقيقه "توفيق" المجاور له. بالتزامن مع قرار الهدم كانت وريثة القصر الآنسة عايدة يسى أندراوس، حصلت علي حكم قضائي نهائي باستلام قصر والدها، بعد فترة تقاضي دامت خمسون عامًا في أروقة المحاكم، الذي كان يشغله الحزب الوطني الديمقراطي المنحل حاليا، والنيابة الإدارية، وبذلت الوريثة محاولات مضنية لتنفيذ الحكم وقدمت بلاغ للنائب العام في 18 أغسطس 2009 برقم 15258، ضد رئيس المجلس الأعلى لمدينة الأقصر لامتناعه عن تنفيذ الحكم بتسليم القصر، في الوقت نفسه كان اللواء سمير فرج تسلم مفاتيح القصر من أمانة الحزب الوطني بالأقصر التي تم نقلها إلى مبنى المجلس الشعبي المحلى الجديد بمنطقة "العواميه" وسبقها نقل مقر النيابة الإدارية إلى منطقة الكرنك. واستحوذت الحكومة علي قصر يسى أندراوس عقب قيام ثورة يوليو 52، واستغله الاتحاد الاشتراكي، وتم إبعاد مالكه عن الأقصر وتحديد إقامته في القاهرة حتي وفاته المنية سنة 1970، ويقول باحثون إن قرار تسليم قصر يسى أندراوس للاتحاد الاشتراكي كان مخالفًا لقرار الرئيس جمال عبد الناصر بالإبقاء علي منزل واحد لأصحاب الملكيات الزراعية الواسعة قبل قيام الثورة، وأنه حدث نوعًا من الخلط المقصود بين قصر "يسى" وقصر شقيقه "توفيق" الذي يجاوره، وربما كان بسبب النشاط السياسي ل "يسى أندراوس" وعلاقاته بدول أوربا بحكم اختياره ممثلا دبلوماسيًا لها في الأقصر. وتشكلت جبهة شعبية ضمت عددًا من الأطياف السياسية والمثقفين لمناهضة قرار الإزالة، في الوقت نفسه كان الورثة في القاهرة يحاولون استعادة قصرهم الوحيد للتبرع به بعد تسلمه لإقامة مشروع ثقافي أو خدمي يخلد ذكرى صاحب القصر، وفتحت تلك الدعوة شهية عددا من صفوة الكتاب لكتابة مقالات تندد بإزالة القصر وانضمت إليهم عدد من الجهات منها الجهاز القومي للتنسيق الحضاري برئاسة سمير غريب، في ذلك الوقت، الذي أرسل خطابا إلي وزير الثقافة يطالب فيه بعدم هدم القصر لكونه ذو قيمة فنية ومعمارية ومسجل كأثر رقم واحد ضمن المباني التاريخية بالمدينة، وكذلك توصيات الدكتور محمد عوض مدير مركز دراسات الإسكندرية والبحر المتوسط بمكتبة الإسكندرية بضرورة الحفاظ علي المبني وعدم هدمه لأنه مبني اثري وله قيمة تراثية ويمكن إدراج المبني في المخطط العام للمنطقة المراد تطويرها بحيث يمكن استخدامه كمركز ثقافي. في المقابل كانت هناك جبهة مضادة تعمل بالتنسيق مع رئيس المجلس الأعلى للمدينة لإعطاء مشروعية لقرار إزالة القصر التاريخي الذي أقام فيه الإمام محمد عبده وزاره الزعيم سعد زغلول والكثير ملوك وأمراء أوربا، ففي أحدى جلسات المجلس الشعبي المحلى الأعلى للأقصر ذهب احد الأعضاء أن القصرين وصمة عار في جبين معبد الأقصر، و أنهما ليسا أكثر أثرية من بيت "لوجران" الذي كان مبنيا منذ 100 عام في واجهة معبد الكرنك وليسا أقدم من بيوت الأهالي في منطقة الكرنك المبنية منذ أكثر من 400 عام والتي نفذت عليها قرارات الإزالة، كما اقترح عضو آخر إقامة منزل جديد للورثة بالأرض المملوكة لهم بقرية "الزينية" مصححا معلومة أخطا فيها المؤرخون وهى أن باخرة الزعيم سعد زغلول شحطت أمام قرية الزينية فتجول هناك واستقبله يسى أندراوس في نفس المكان! زايد كثيرون على قرار الإزالة الذي أصدرته اللجنة الوزارية المشرفة على تطوير الأقصر برئاسة "نظيف" بناء على معلومات غير دقيقة تم تصديرها إليها لتعطى مشروعية لهدم القصر ومنها أن القصرين ملكا ل "يسى أندراوس" وهو ما يخالف الحقائق التاريخية ووثائق الملكية، ولكن أكثر تلك المزايدات فجاجة تشويه سيرة يسى أندراوس لتحييد الشارع في تلك الأزمة، وهو احد أبناء الأقصر الوطنين الذي بادر باستقبال الزعيم سعد زغلول في قصره عندما حاولت السلطات منعه من دخول الأقصر أثناء رحلته للصعيد مستغلا حصانته الدبلوماسية كقنصل فخري لعدد من الدول الأوربية حتى سمي قصره ببيت الأمة فضلا عن أعماله الخدمية الأخرى. و بعد 8 شهور من الجدل الذي دار في الأقصر، أنهت الجهات المختصة الأمر بهدم القصر الذي أقام فيه الإمام محمد عبده لأيام والكثير من الشخصيات العامة بمصر في تلك الفترة.