مما لا شك فيه، أنه مع بداية هذا القرن - الحادي والعشرين، زادت أعداد المواقع الإلكترونية بصورة كبيرة، وأصبحت المعلومات المتوافرة علي شبكة الإنترنت هائلة بل وشاملة، حيث أصبح للمؤسسات والهيئات والأشخاص مواقع إليكترونية، وذلك في غالبية الدول، بما فيها الدول النامية، كما كثرت قواعد البيانات والمدونات والموسوعات والوثائق، وكان لذلك أثره علي محركات البحث، التي تعثرت في إيجاد المعلومات المطلوبة من بين المعلومات الكثيرة والمخيفة أحيانًا، لدرجة أصبح فيها الباحث في الإنترنت كمن يلقي الشباك في البحر، ويلتقط الأشياء البسيطة ويترك الأشياء الثمينة أسيرة الأعماق..!! وقد ازدادت محركات البحث وتطورت كثيرًا، ولم يعد الباحث مقتصرًا علي اختيار الكلمات المفتاحية أو الموضوع، عند استخدام هذه المحركات، ولكن أصبح بإمكان الباحث وعبر قوائم معينة، تضييق نطاق البحث، باختيار جزء من الشبكة أو كامل الشبكة، وأيضًا اختيار البلد واللغة والفترة الزمنية وتطبيق تعليمات تتعلق بالبحث أو ما يسمي بالمعاملات المنطقية مثل: أدوات الربط بين الكلمات واستخدام الأقواس وعلامات التنصيص والنجمة وغيرها، ومع ذلك نجد الكثير من الباحثين يتعثرون في إيجاد الكثير من المعلومات المطلوبة مثل: المدونات Blogs ومحتويات الكتب، مما يؤدي إلي إصابة بعضهم بالملل ودفعه إلي اللجوء إلي أساليب بحث قديمة. ولذلك بدأ التفكير في حل هذه المشكلة للوصول إلي الكنوز المخفية في الإنترنت، فظهرت تقنية جديدة وهي تقنية (التنقيب في الإنترنت) أو التنقيب في الويبMining Web ، وأهم معلومة تتعلق بهذه التقنية هي التنقيب في (البيانات) والتي تعتمد علي استخراج معلومات مفيدة غير معروفة من قبل أو بمعني آخر، تحليل البيانات واستخراج المعلومات المفيدة، التي تشكل اللبنة المناسبة للحصول علي المعرفة القيمة Valuable ، التي تساعد علي اتخاذ القرار السليم من قبل المهتمين بالأمر، ذلك لأن كمية البيانات المخزنة هائلة، كما أن محتواها كثير ومتعدد الجوانب، كما أنه تم إدخالها من أجهزة تابعة لمراكز ومواقع متعددة وبأنظمة مختلفة. ولتحسين فعالية التنقيب في الويب، الذي يعتمد علي قواعد التصنيف والتجميع وقواعد الاشتراك بحسب اهتمام المستخدمين، يتم تقسيم المعلومات إلي مساحات تتضمن محتويات الموقع، بنية البحث، تصرف المستخدمين. يمكن الحصول بالتنقيب في (محتوي الويب) علي بيانات تتعلق بشكل الكتابة والمواقع المطلوبة من جانب المستخدمين، ويتم الحصول بالتنقيب في (بنية الويب) علي معلومات حول إمكانية إيجاد المستخدمين للمعلومات أو مكان تواجد المعلومات في الصفحة، والمساحة المشغولة ضمن الموقع وقربها من الصفحة الرئيسية، أما فيما يخص التنقيب (المتعلق بالمستخدم) فيتم التركيز علي نمط أو نموذج البحث الذي يلجأ إليه المستخدمون وعلي المعلومات المطلوبة منهم. واستخدامات وفوائد التنقيب في الويب كثيرة، فهي تساعد مثلاً في الكشف عن التزوير في بطاقات الائتمان، أو في معرفة عدد المشاهدين لبرنامج تليفزيوني أو أسباب استعمال الناس لإحدي الشركات الهاتفية دون غيرها، وأيضًا تساعد في تحليل اهتمامات وحاجيات المجرمين وبالتالي المساعدة في إمكان تحديدهم، وكذلك معرفة النشاطات الشخصية المرافقة لدراسة الطلاب في الجامعات، وغيرها من التطبيقات التي تدخل في مجالات أخري كثيرة، والتي أصبحت مواضيع مناسبة لكتب نشرات في هذا المجال، والتي يمكن أن يكون لها عظيم الأهمية في نجاح الشركات والمؤسسات والجامعات والوزارات والنوادي وغيرها. وفي النهاية تبقي كلمة.. إن عجز المعنيين بالإنترنت في السيطرة علي محتوياتها الكبيرة الموجودة بشكل عشوائي، قد أدي إلي اهتزاز الثقة بهذه التقنية الكبيرة الأهمية في حياتنا اليومية، وبالتالي فان تطوير تقنيات التنقيب عن المعلومات أو بمعني آخر ظهور محركات بحث أكثر فعالية، سوف يؤثر ويساعد علي تخفيف التحديات التي تواجه ( الويب ) والعاملين عليها، وكذلك سوف تعطيه غني وذكاء زائدًا، وأيضًا سوف تجعله أكثر قبولاً وستشجع الكثيرين علي دعمه واستغلاله بشكل إيجابي من أجل الوصول إلي معرفة حقيقية، تساعد علي اتخاذ القرارات المناسبة، التي تؤدي إلي تحقيق النجاح المطلوب.