ما المقصود باستخراج البيانات بالذكاء الاصطناعي؟

يتيح الذكاء الاصطناعي للنماذج المتطورة استخراج البيانات من المواقع الإلكترونية بذكاء أكبر، والتكيف مع البيئات الرقمية المتغيرة من خلال مهام سير عمل تكيفية، بل والعمل بطريقة أكثر مراعاةً للأخلاقيات مع تجنب أوجه القصور المرتبطة بأدوات استخراج البيانات الأبسط من الويب.

كما يجعل استخراج البيانات بالذكاء الاصطناعي العملية أسهل وأكثر فعالية من حيث التكلفة. يمكن الآن لشركات التجارة الإلكترونية الناشئة استخدامه لإجراء أبحاث السوق وتحليلات وسائل التواصل الاجتماعي. يمكن للباحثين الأكاديميين تحليل المقالات الإخبارية أو قوائم منتجات Amazon أو إعلانات الوظائف على LinkedIn. يمكن لمتخصصي تحسين محركات البحث (SEO) مراقبة تصنيفات الكلمات الرئيسية والروابط الخلفية والمواقع الإلكترونية المنافسة للبقاء في الصدارة. يمكن لشركات الذكاء الاصطناعي استخدام البيانات المستخرجة لتدريب نماذجها.

واجهات بدون تعليمات برمجية مثل browse.ai تسهِّل إنشاء أدوات استخراج البيانات باستخدام القوالب وإجراءات السحب والوضع والمشغلات المؤتمتة. يمكن لأدوات الذكاء الاصطناعي هذه أيضًا التقاط لقطات شاشة لكل صفحة لأغراض التدقيق.

على الرغم من أن استخراج البيانات من الويب ليس غير قانوني أو غير أخلاقي بطبيعته، فإنه قد يثير مشكلات عند تنفيذه بطريقة غير أخلاقية. تشمل حالات الاستخدام المشروعة تحليل البيانات والبحث ومراقبة الأسعار التنافسية. تشمل مهام استخراج البيانات التي تُعد عادةً غير أخلاقية استخراج البيانات الخاصة أو تحميل الخوادم فوق طاقتها أو سرقة المحتوى. تقع على عاتق الممارس مسؤولية جمع البيانات بطريقة أخلاقية وبما يتوافق مع الأطر التنظيمية ذات الصلة بجمع البيانات.

يسعى كلٌّ من استخراج البيانات التقليدي من الويب واستخراج البيانات من الويب المدعوم بالذكاء الاصطناعي إلى الهدف نفسه، لكنهما يختلفان في طريقة تفسير صفحات الويب. عادةً ما يتم استخراج البيانات التقليدي من الويب باستخدام نصوص برمجية مكتوبة يدويًا، في صورة محددات CSS وتعبيرات XPath ومنطق برمجي ثابت. تمكّن هذه القواعد أداة استخراج البيانات من التنقل بين الصفحات وتحديد عناصر معينة داخل الصفحة. وتؤدي هذه القواعد عملها بكفاءة عندما تكون البنية مستقرة.

ترسل أدوات استخراج البيانات التقليدية من الويب طلب HTTP إلى خادم الويب، فيستجيب الخادم بمحتوى الصفحة بتنسيق HTML. بعد جلب ملف HTML، تفسر أداة استخراج البيانات المحتوى باستخدام أدوات مثل BeautifulSoup أو lxml أو Cheerio لإنشاء شجرة تحليل تمثّل البنية الهرمية للصفحة: نموذج كائن المستند، أو DOM.

تستخدم أدوات استخراج البيانات تعبيرات أو أنماطًا مكتوبة أو قواعد لتحديد موضع جزء معين من بيانات الويب داخل مستند HTML. وتشمل هذه التعبيرات محددات، وهي تعليمات محددة تخبر أداة الاستخراج بأي أجزاء من صفحة الويب يجب استردادها، وقواعد Regex، وهي صيغ لمطابقة الأنماط تُستخدم لتحديد النص غير المنسق، وقواعد منطقية، وهي قواعد مخصصة مكتوبة بالكود لتحديد كيفية الاستخراج وما يجب استخراجه.

بمجرد تحديد موضع العناصر، يتم استخراج النص وجمع السمات وتنظيف البيانات لإزالة المعلومات غير ذات الصلة وفرض اتساق التنسيق. تُخزَّن هذه البيانات المنظمة حديثًا بتنسيق الملف المفضل، مثل جدول بيانات Excel أو Google Sheet أو ملف CSV.

نظرًا إلى أن أدوات استخراج البيانات تعتمد على قواعد ثابتة، يمكن أن تؤدي التغييرات الطفيفة في الموقع الإلكتروني إلى تعطّل الأداة، كما يتطلب كل موقع إلكتروني مختلف منطقًا خاصًا لاستخراج البيانات منه بنجاح. تواجه الأساليب التقليدية صعوبة عند التعامل مع الصفحات الديناميكية ذات المحتوى غير المنظم والمتعدد الوسائط.

هناك عدد من الطرق التي يمكن استخدام التعلم الآلي من خلالها لأتمتة استخراج البيانات على نطاق واسع.

• جمع البيانات غير المنظمة  

• التعامل مع بيئات الويب المعقدة
   

• تقليل الحاجة إلى الصيانة
   

• الفهم الدلالي
   

• تحسين جودة البيانات
   

• المرونة والكفاءة

يوسّع الذكاء الاصطناعي نطاق ما يمكن استخراجه. يمكنه التعامل مع لغات مختلفة وتحليل البيانات في شكل صور وفيديو ومخططات وملفات PDF. وبدلًا من الاكتفاء باستخراج النص الموجود على الصفحة، يحوّل الذكاء الاصطناعي المعلومات الأولية متعددة الوسائط إلى بيانات منظمة. ويقترب بذلك من مستوى الدقة والفهم الذي يمكن أن يقدمه الباحث البشري.

كان المنطق الصارم لاستخراج البيانات التقليدي القائم على القواعد أكثر ملاءمةً للويب الثابت. لكن العديد من المواقع الإلكترونية لم تعد تعرض ملفات HTML بسيطة وثابتة. فالويب كيان حي، وتتطور بنى المواقع الإلكترونية باستمرار لدعم JavaScript وعناصر المحتوى الديناميكية الأخرى، مثل التمرير اللانهائي وعناصر واجهة المستخدم التي تتحدث أثناء تفاعل المستخدم مع الصفحة. ونتيجة لذلك، غالبًا ما تتعطل أدوات استخراج البيانات التقليدية أو تقدم نتائج غير مرغوب فيها عند ظهور اسم فئة أو حاوية جديدة. علاوةً على ذلك، تستخدم العديد من المواقع الإلكترونية أدوات لتعطيل أدوات استخراج البيانات المؤتمتة القائمة على وكلاء الذكاء الاصطناعي عمدًا، حتى عندما تعمل هذه الأدوات بطريقة أخلاقية.

تحسّن نماذج الذكاء الاصطناعي، بما تمتلكه من فهم دلالي اكتسبته من التدريب على مجموعات بيانات ضخمة، قدرة أداة استخراج البيانات على التعامل مع هذه البيئات المعقدة والمتغيرة. يمكن للذكاء الاصطناعي استنتاج موضع المحتوى ذي المعنى حتى عندما تكون الإشارات الهيكلية غير متسقة أو مخفية.

تحتاج أدوات استخراج البيانات التقليدية إلى تحديثات مستمرة لمواكبة تغيّرات الويب. أما أدوات استخراج البيانات المدعومة بالذكاء الاصطناعي، فتستطيع التعميم والتكيف عبر تصميمات وتخطيطات مختلفة. وحتى عند إعادة تصميم المواقع الإلكترونية، يستطيع النموذج اللغوي الكبير (LLM)، على سبيل المثال، تحديد أن رقمًا معينًا يمثل سعرًا، أو أن اسمًا معينًا هو اسم المؤلف، لأنه يتعرف على أنماط أعمق في اللغة وطريقة عرض الكيانات داخل الصفحة.

تتسم مساحة صفحات الويب غالبًا بالازدحام، إذ تتضمن أنواعًا مختلفة من عناصر التنقل، ومحتوى نمطيًا في أسفل الصفحة، وأشرطة جانبية ديناميكية، وغير ذلك من عوامل التشتيت. ويمكن لأدوات استخراج البيانات المزوّدة بقدرات معالجة اللغة الطبيعية (NLP) تصفية المحتوى غير المفيد والتركيز على المعلومات ذات المعنى في كل صفحة.

يمكن القول إن أدوات استخراج البيانات التقليدية تجمع البيانات، بينما تجمع أدوات استخراج البيانات بالذكاء الاصطناعي المعرفة. فهي تحدد الكيانات وتفهم العلاقات بينها. ويمكنها إجراء تحليل المشاعر أو تصنيف المحتوى حسب الموضوع.

وتتمثل نتيجة هذا الفهم الأعمق في تحويل المحتوى الخام غير المنظم إلى مجموعات بيانات نظيفة ومتسقة. وهذا يتيح تحليلًا لاحقًا أفضل. وتكتسب هذه الوظيفة أهمية خاصة في الصناعات المتخصصة مثل القطاع المالي أو الرعاية الصحية، حيث يكون السياق غالبًا أكثر أهمية من مجرد التقاط النص.

في حين قد تُحظر أداة استخراج البيانات التقليدية بسبب اختبار CAPTCHA أو تحديد معدل الطلبات أو غير ذلك من أساليب التقييد، تستطيع النماذج الأكثر ذكاءً الاختيار من بين استراتيجيات مختلفة لتجنب تفعيل إجراءات مكافحة الروبوتات، بما يتيح الوصول إلى المحتوى. قد تتطلب مواقع الدفع وخدمات الاشتراك والصفحات الآمنة الأخرى بطاقة ائتمان أو نوعًا آخر من المصادقة. ويمكن لأدوات استخراج البيانات بالذكاء الاصطناعي التنقل في هذه الصفحات بأمان وامتثال عندما تسمح شروط الموقع بذلك.

يمكن للذكاء الاصطناعي توجيه أداة استخراج البيانات لجمع البيانات في وقت معين من اليوم، وبمعدل محدد، وضمن الصفحات التي يُرجح أن توفر بيانات مفيدة فقط. وتجعل هذه الإجراءات تشغيل أدوات استخراج البيانات من الويب بالذكاء الاصطناعي أكثر كفاءة.

ما كانت الثورة الحديثة في الذكاء الاصطناعي لتحدث لولا استخراج البيانات من الويب، ومن حسن الحظ أن الذكاء الاصطناعي يستطيع بدوره أن يجعل هذه الممارسة أكثر التزامًا بالمعايير الأخلاقية.

تتمثل إحدى المشكلات الأساسية في استخراج البيانات التقليدي في التحميل الزائد على الخوادم بالطلبات المتكررة. فأدوات استخراج البيانات التقليدية تعمل غالبًا بلا تمييز، وترسل آلاف الطلبات إلى المواقع الإلكترونية كل ساعة. ولهذا السبب وحده، تلجأ المواقع الإلكترونية غالبًا إلى عدد من التقنيات لحظر أدوات استخراج البيانات. ويمكن للذكاء الاصطناعي أن يساعد من خلال جدولة الطلبات بذكاء، وتكييف سرعة استخراج البيانات وفقًا لأوقات استجابة الخادم. وتستطيع النماذج اكتشاف أنماط الضغط على الخوادم، ثم تخفيض معدل طلباتها تلقائيًا لتجنب تعطيل عمليات الموقع الإلكتروني. كما يمكن للنماذج تجنب تصفّح الصفحات التي لا يُرجح أن تحتوي على معلومات مفيدة، مما يقلل الأعباء والتكاليف التي قد يتحملها مالكو هذه المواقع.

قد لا يرغب بعض مسؤولي المواقع الإلكترونية ببساطة في أن تجمع أدوات استخراج البيانات محتوى مواقعهم لأي سبب من الأسباب، ولذلك يستخدمون إشارات مثل ملفات robots.txt أو إرشادات واجهات برمجة التطبيقات (API) أو غيرها من قيود الاستخدام المنشورة. ويمكن لأدوات استخراج البيانات الالتزام بهذه القواعد بذكاء، من خلال اختيار نقاط نهاية API القانونية وتجنب المحتوى المحظور طوعًا.

وتُعد الخصوصية مصدر قلق آخر. فقد تؤدي الأساليب البسيطة لاستخراج البيانات من الويب إلى جمع معلومات حساسة أو معلومات تعريف شخصية (PII)، مثل عناوين البريد الإلكتروني أو أرقام الهواتف أو غيرها من بيانات الاتصال. ويمكن للذكاء الاصطناعي تصفية البيانات الحساسة أو إخفاء هوية أصحابها في الوقت الفعلي أثناء استيعابها.

يمكن لأدوات استخراج البيانات بالذكاء الاصطناعي أيضًا تسجيل قراراتها لدعم قابلية التفسير وتوفير مسارات تدقيق واضحة. وتساعد هذه الشفافية المؤسسات على التحقق من سلامة عملياتها والالتزام بالمعايير الأخلاقية، ولا سيما عند استخدام البيانات المستخرجة لتدريب نماذج الذكاء الاصطناعي.

ولتجنب الانتحال واحترام منشئي المحتوى، يمكن للنماذج أن تكون انتقائية في تحديد البيانات التي تستوعبها. فعلى سبيل المثال، بدلًا من استخراج صفحات أو مواقع إلكترونية كاملة، يمكنها تلخيص المحتوى، وتجميع الإحصاءات، واستخدام التضمينات بدلًا من النص الحرفي.

كما يمكن لأساليب استخراج البيانات الأكثر ذكاءً أن تتجنب البيانات التي قد تسهم في ترسيخ التحيز أو المضايقات أو المعلومات المضللة، إذا كانت هذه البيانات ستُستخدم في تدريب النماذج.