سيدي عبدالرحيم القنائي أمضى طفولته في تحصيل العلم في جامع ترغاي الكبير على يد والده كما تتلمذ على كبار العلماء فلم يكد يصل الثامنة من عمره حتى كان قد حفظ القرآن الكريم وجوده تلاوة وفهما وتوفى والده وهو في سن الثانية عشر لذلك مرض مرضا شديدا حتى حار الأطباء في علاجه وأشار بعض منهم إلى أنه يجب أن يغادر البلاد لما حدث فيها من عزاء لوالده قضى في دمشق ثمانى سنوات نهل فيها من علماء دمشق وقد بدا لهم ذكاء السيد عبد الرحيم وسرعة بديهته وحفظه وميله إلى التصوف فطلبوا منه وهو في سن العشرين أن يلقي الدروس فأبى وذلك أدبا لأنه يعرف قد علماء دمشق وكان مقيما عند أخيه فسألوا أخاه إقناعه فرفض وقرر العودة إلى بلدة ترغاي. وفى ترغاي وجد مكان أبيه شاغرا لم يقدم أحد على شغله لمعرفة مكانة الشيخ وان ليس فيهم من يستحق هذه المكانة واجتمع علماء ترغاى واصروا على احلال السيد عبد الرحيم مكان أبيه، فكان لهم ما طلبوا. وفي أول درس يلقيه الشيخ تكدس الناس لما بدا لهم من غزارة علم السيد عبد الرحيم الشيخ الصغير ذي العشرين عاما وذاع صيته وتوافدت عليه الناس من البلاد المجاورة للقائه. قضى السيد عبد الرحيم خمس سنوات على هذا النهج وما يقوم به من مهمة الوعظ والإرشاد عن واجبات المسلم نحو ربه ومجتمعه بأسلوب ساحر أخّإذ أبكى المستمعين تأثرا وإعجابا. على أن أحداث المشرق في ذلك الوقت من تكتل قوى الاستعمار الأوروبى المقنع تحت اسم الصليب، للهجوم على بلاد المشرق واستعمارها كانت تشد تفكيره بقوة إلى المشرق حيث كان يرى وجوب تكتل كل قوى المفكرين من المسلمين لحماية الدول الإسلامية وتعبئ كل القوى المادية والمعنوية لحمايتها من التفكك والضعف والانحلال الذى أوشك أن يصيبها. وفى تلك الأثناء توفيت والدته ولم يكن تزوج بعد وليس هناك صغار يسعى في تربيتهم، الأمر الذى جعله بالإضافة إلى الأسباب السابقة، أن يفكر في الرحيل إلى المشرق،