روي أن بني عمرو بن عوف لما بنوا مسجد قباء، وكان يأتيهم رسول الله ويصلي فيه، حسدتهم بنو غنم بن عوف، وقالوا: نبني مسجدًا ونرسل إلى رسول الله يصلي فيه، ويصلي فيه أبو عامر الراهب إذا قدم من الشام؛ ليثبت لهم الفضل والزيادة على إخوانهم، زعموا -وأبو عامر هو الذي سماه النبي الفاسق، وقال لرسول الله : لا أجد قومًا يقاتلونك إلا قاتلتك معهم؛ فلم يزل يقاتله إلى يوم حُنين، فلما انهزمت هوازن، خرج هاربًا إلى الشام، وأرسل إلى المنافقين أن استعدوا بما استطعتم من قوة وسلاح، فإني ذاهب إلى قيصر، وآتٍ بجنود، ومخرج محمدًا وأصحابه من المدينة - فبنوا مسجد الضرار إلى جانب مسجد قباء، وقالوا للنبي : بنينا مسجدًا لذي العلة والحاجة والليلة المطيرة والشاتية، ونحن نحب أن تصلي لنا فيه، وتدعو لنا بالبركة. فقال : "إني على جناح سفر وحال شغل، وإذا قدمنا إن شاء الله صلينا فيه". فلما قفل من غزوة تبوك، سألوه إتيان المسجد، فنزل قوله: {وَالَّذِينَ اتَّخَذُوا مَسْجِدًا ضِرَارًا وَكُفْرًا} إلى قوله: {لاَ تَقُمْ فِيهِ أَبَدًا} [التوبة: 107، 108] الآيات، فدعا بمالك بن الدُّخْشُم، ومَعْن بن عدي، وعامر بن السكن، ووحشي قاتل حمزة، فقال لهم: "انطلقوا إلى هذا المسجد الظالم أهله، فاهدموه واحرقوه". ففعلوا، وأمر أن يجعل مكانه كناسة تلقى فيها الجيف والقمامة. وقيل: كل مسجد بُني مباهاة أو رياء أو سمعة، أو لغرض سوى ابتغاء وجه الله أو بمال غير طيب، فهو لاحق بمسجد الضرار. وعن شقيق أنه لم يدرك الصلاة في مسجد بني عامر، فقيل له: مسجد بني فلان لم يصلوا فيه بعدُ. فقال: لا أحب أن أصلي فيه؛ فإنه قد بُني على ضرار، وكل مسجد بني على ضرار أو رياء، فإن أصله ينتمي إلى المسجد الذي بني ضرارًا. وعن عطاء: لما فتح الله الأمصار على عمر ، أمر المسلمين أن يبنوا المساجد، وأن لا يتخذوا في مدينة مسجدين يضار أحدهما صاحبه. وذكر ابن إسحاق: الذين اتخذوا مسجد الضرار، وذكر فيهم جارية بن عامر، وكان يعرف بحمار الدار، وهو جارية بن عامر بن مجمع بن العطاف، وذكر فيهم ابنه مجمعًا، وكان إذ ذاك غلامًا قد جمع القرآن، فقدموه إمامًا لهم، وهو لا يعلم بشيء من شأنهم. وقد ذُكر أن عمر بن الخطاب في أيامه أراد عزله عن الإمامة، وقال: أليس بإمام مسجد الضرار؟ فأقسم له مجمعٌ أنه ما علم شيئًا من أمرهم، وما ظن إلا الخير. فصدَّقه عمر، وأقره.
