جاءت فكرة إنشاء مكتب تنسيق التعريب بهدف خلق جهاز عربي متخصص يعني بتنسيق جهود الدول العربية في مجال تعريب المصطلحات الحديثة، والمساهمة الفعالة في استعمال اللغة العربية في الحياة العامة، وفي جميع مراحل التعليم والأنشطة الثقافية والعلمية والإعلامية، ومتابعة حركة التعريب في جميع التخصصات العلمية والتقنية، وتنفيذًا لتوصيات مؤتمر التعريب الأول الذي انعقد بالرباط سنة 1961. وبعد الدورة الأولي لمجلسه التنفيذي في الرباط في 19 فبراير 1962، تم إلحاقه بالأمانة العامة لجامعة الدول العربية في مارس 1969، وعند قيام المنظمة العربية للتربية والثقافة والعلوم كوكالة متخصصة في نطاق جامعة الدول العربية في يوليو 1970 تم إلحاق هذا الجهاز بها. وكان آنذاك يعرف باسم «المكتب الدائم لتنسيق التعريب في الوطن العربي»، وتم إقرار نظامه الداخلي من قبل المجلس التنفيذي للمنظمة في دورته الثامنة المنعقدة في القاهرة في بدايات عام 1973. و«زي النهارده» من عام 1981 انعقد المؤتمر الرابع للمكتب في الرباط بالمغرب، ومن بين الأهداف التي يضطلع بها المكتب، نشر المعاجم التي تقرها مؤتمرات التعريب، وعقد حلقات دراسية خاصة ببرنامج المكتب، والتنسيق بين المجامع اللغوية والهيئات والمنظمات التعليمية والعلمية والثقافية في البلاد العربية، ودراسة ما تنتهي إليه بحوث المجامع اللغوية من توصيات وأبحاث.