ثارت حول قصر البارون شائعات كثيرة ولعل أبرزها أنه كان مقرًا لجماعات عبادة الشيطان، ثم أن برجه يدور مع قرص الشمس، ثم أنه سكنًا للأشباح والأرواح، وبالطبع كل ماسبق هو مجرد أساطير أحاطت بالقصر ولعل أغلبها راجع لطراز واجهاته الغريب والتي تنتمي للفنون الهندية والكمبودية وزخارف معابد الديانة الهندوسية والبوذية. ويبدو أن القصر مصرًا على أن يظل محط الأنظار ولافتًا للنظر دومًا فقد ثارت حوله في العام الأخير على فترات حالة من الجدل بسبب انتقاد بعض المهتمين بالشأن الأثري لعمليات الترميم الجارية في القصر. وكانت أولى الاعتراضات حول لون القصر، وهل هو الأصفر الترابي، أم الطوبي المحروق، وهنا كان يحتاج الأمر لأكثر من مجرد صورة على السوشيال ميديا قد تكون خادعة بسبب إعدادات وعوامل التصوير، كان الأمر يحتاج إلى مشاهدات بالعين المجردة. وقام محرر الفجر بمرافقة وزير الآثار في جولة داخل قصر، وأول ما أهم كل من شهد الجولة هو قضية اللون، وقد قام وزير الآثار بإجراء تجربة عملية مثالًا على عمليات تنظيف لزخارف وجدران القصر، والتي يقوم فيها المرممين عن طريق عصا خشبية صغيرة في مقدمتها قطعة من القطن مغموسة في مركب كيميائي بتنظيف الاتسخات التي غطت الزخارف والجدران فأخفت اللون الأصلي للقصر، والتي بمجرد إزالتها يبدو البون الحقيقي. ودعا وزير الآثار محرر الفجر لاستخدام تلك الآداة، حيث قام باستخدامها بالفعل بنفس الطريقة التي يتبعها المرممين مما جعل الاتساخات تزول ويظهر أسفلها اللون الأساسي وهو البني المائل للاحمرار أو الطوبي المحروق، وجاءت هذه الطريقة كإثبات عملي من الوزارة على أن اللون الأصلي للقصر والذي اختفى تحت طبقة من الاتساخات هو اللون الذي تتم به أعمال ترميمات الواجهات الآن. ومن ناحيته قال الدكتور محمد عطية المتخصص بأعمال ترميم التكوينات الجصية، إن المادة المستخدمة لإزالة الاتساخات و"التجيير" الذي غطى على ألوان القصر هي الكحول المخفف بالماء، وذلك بالتعامل المباشر من المرممين على الأثر وبطريقة يدوية بسيطة كالتي ظهرت بالفيديو، وبمجرد التعامل مع هذه الطبقة يظهر اللون الأصلي، ثم يتبع ذلك عمليات التثبيت والتقوية للون. يذكر أن موجة من الانتقادات واجهتها أعمال ترميم القصر خلال الأيام الماضية بسبب لون الواجهات وأعمال ترميم السور. وقد أوضحت وزارة الآثار في بيان سابق لها أن ألوان الواجهات الخاصة بقصر البارون هي نفس الألوان الأصلية لها، وأن القائمين علي عمليات الترميم بالقصر اتخذوا كافة الإجراءات اللازمة من إختبارات وتحاليل وتوثيق فوتوغرافي ومعماري لمظاهر التلف لوضع الخطط اللازمة وعمل العينات المطلوبة بأساليب الترميم العلمية المتبعة والتي أظهرت الألوان الأصلية لجميع الواجهات وبناءً عليه تم اجراء عملية الترميم لتلك الواجهات بالمحافظة والتثبيت لما تم الكشف عنه من ألوان أصلية والتي تعرضت للتأثر بالسلب نتيجة العوامل الجوية. كما الدراسات التي سبق وتمت للوقوف على الألوان الأصلية بالواجهات شملت ذكر اللون في الوثائق التاريخية المتعلقة بقصر البارون حيث ذكرت Amelie D Arschot في كتابها Le roman D heliopolis أن الواجهات كانت مغطاه بلون أبيض مع لون طوبي محروق مستوحى من معابد القرن الثاني عشر من شمال الهند صفحة 178 . كما أوضحت Anne Van Loo في كتابها Helopolis صفحة 135 إن البارون إمبان أراد أن يميز قصره عن باقي عمائر هيليوبوليس التي كانت تتميز بلون الصحراء " اللون الترابي " وأختار الطوبي المحروق burnt Sienna. كما تذكر وثيقة فرنسية تاريخيه يرجع تاريخها إلي تاريخ بناء القصر عام 1911، أن القصر تم دهانه باللون burnt Sienna الطوبي المحروق. كما أن التوثيق الفوتوغرافي الذي تم عمله قبل الترميم يظهر اللون الأبيض لباطن القبو الغائر للمدخل وهو من الجبس وكذلك لون الواجهات قبل أعمال الترميم وهو لون طوبي محروق وهو ما ظهر بعد عمليات التنظيف. ومن ناحيته أكد الدكتور مصطفى وزيري الأمين العام للمجلس الأعلى للآثار، أن ما أثير حول هذا الأمر من معلومات هي غير دقيقة ولا يوجد أي تغيير بألوان الواجهات الأصلية تنافي أصل الألوان الموجوده بالواجهات. وأشار وزيري أن وزارة الآثار تدرك تمامًا أهمية القيمة الفنية والتراثية لقصر البارون وتفرده المعماري من بين قصور تلك الحقبة التاريخية ونتشرف بأن نكون جزءًا ممن حافظ على هذا التراث المعماري النادر.