ما التنقيب في البيانات؟

نظراً لتطور التعلم الآلي (ML)، وتخزين البيانات، ونمو البيانات الكبيرة، فقد تسارع تبني استخراج البيانات، المعروف أيضاً باسم اكتشاف المعرفة في قواعد البيانات (KDD)، بسرعة خلال العقود الماضية. ومع ذلك، بينما تتطور هذه التقنية باستمرار للتعامل مع البيانات على نطاق واسع، قد يواجه القادة تحديات في التوسع والأتمتة.

يمكن استخدام تقنيات استخراج البيانات التي تقوم عليها تحليلات البيانات لغرضين رئيسيين. ويمكنها إما وصف مجموعة البيانات المستهدفة أو التنبؤ بالنتائج باستخدام خوارزميات التعلم الآلي.

تُستخدم هذه الأساليب لتنظيم البيانات وتصفيتها، وإظهار المعلومات الأكثر فائدة، من الاحتيال إلى سلوكيات المستخدمين، والاختناقات، وحتى اختراق الأمن. يؤدي استخدام خوارزميات التعلم الآلي (ML) والذكاء الاصطناعي (AI) إلى تمكين أتمتة التحليل، مما يمكن أن يسرّع العملية بشكل كبير.

عند دمجها مع أدوات تحليل البيانات والعروض المصورة للبيانات مثل Apache Spark، تصبح برامج استخراج البيانات أكثر وضوحاً، ويمكن استخراج الرؤى ذات الصلة بسرعة أكبر من أي وقت مضى. تستمر التطورات في الذكاء الاصطناعي في تسريع وتيرة الاعتماد على مستوى الصناعات المختلفة.

اكتشاف الرؤى الخفية والاتجاهات: يعمل استخراج البيانات على التقاط البيانات غير المنسقة والعثور على النظام في الفوضى: رؤية الغابة من الأشجار. يمكن أن يؤدي ذلك إلى تخطيط مستنير بشكل أفضل عبر وظائف الشركات والصناعات، بما في ذلك الإعلان والتمويل والحكومة والرعاية الصحية والموارد البشرية والتصنيع والتسويق والأبحاث والمبيعات و إدارة سلسلة التوريد.

توفير الميزانية: من خلال تحليل بيانات الأداء من مصادر متعددة، يمكن تحديد الاختناقات في عمليات الأعمال لتسريع حلها وزيادة الكفاءة.

حل تحديات متعددة: يُعد استخراج البيانات أداة متعددة الاستخدامات. يمكن تحليل البيانات من أي مصدر تقريبًا ومن أي جانب من جوانب المؤسسة لاكتشاف الأنماط والطرق الأفضل لإدارة الأعمال. يمكن لكل قسم من أقسام المؤسسة التي تجمع وتحلل البيانات الاستفادة من استخراج البيانات.

التعقيد والمخاطر: الرؤى المفيدة تتطلب بيانات صحيحة، بالإضافة إلى خبراء لديهم خبرة في البرمجة. معرفة لغات استخراج البيانات بما في ذلك Python، R، وSQL مفيدة. قد يؤدي اتباع نهج غير حذر بما فيه الكفاية في استخراج البيانات إلى نتائج مضللة أو خطيرة. قد تكون بعض بيانات المستهلكين المستخدمة في استخراج البيانات معلومات تعريف شخصية (PII) والتي يجب التعامل معها بعناية لتجنب المشاكل القانونية أو مشاكل العلاقات العامة.

التكلفة: للحصول على أفضل النتائج، غالبًا ما تكون هناك حاجة إلى مجموعة واسعة وعميقة من مجموعات البيانات. إذا كانت المؤسسة ستجمع معلومات جديدة، فقد يمثل إنشاء مسار بيانات تحمل نفقات جديدة. إذا كانت هناك حاجة إلى شراء البيانات من مصدر خارجي، فإن ذلك يفرض تكلفة أيضًا.

عدم اليقين: أولاً، قد يكون جهد استخراج البيانات الكبيرة جيداً لكنه ينتج نتائج غير واضحة، دون فائدة كبيرة. أو يمكن أن تؤدي البيانات غير الدقيقة إلى رؤى غير صحيحة، سواء كان ذلك بسبب أنه تم اختيار بيانات غير صحيحة أو تمت معالجة البيانات قبل المعالجة بشكل خاطئ. وتشمل المخاطر الأخرى أخطاء النمذجة أو البيانات القديمة التي يتم الحصول عليها من سوق سريع التغير.

مشكلة أخرى محتملة هي أن النتائج قد تبدو صحيحة ولكنها في الواقع عشوائية ولا يمكن الوثوق بها. من المهم أن نتذكر أن "الارتباط ليس سبباً". ومن الأمثلة الشهيرة على "تجريف البيانات" - أي رؤية علاقة واضحة والمبالغة في أهميتها - ما قدمه المدون Tyler Vigen مؤخرًا قائلاً: "سعر سهم Amazon.com يطابق إلى حد كبير عدد الأطفال الذين يحملون اسم "Stevie" من في الفترة من عام 2002 إلى عام 2022."1 لكن بالطبع لم يكن لإطلاق اسم Stevie أي تأثير على سعر السهم أو العكس. تكتشف تطبيقات استخراج البيانات الأنماط، لكن الحكم البشري لا يزال مهماً.

استخراج البيانات هو العملية العامة لتحديد الأنماط واستخراج رؤى مفيدة من مجموعات البيانات الكبيرة. يمكن استخدام ذلك لتقييم كل من البيانات المنظمة والبيانات غير المنظمة لتحديد المعلومات الجديدة، ويُستخدم عادةً لتحليل سلوكيات المستهلكين لفرق التسويق والمبيعات. على سبيل المثال، يمكن استخدام طرق استخراج البيانات لمراقبة وتوقع السلوكيات، بما في ذلك فقدان العملاء، والكشف عن الاحتيال، وتحليل سلة السوق وغير ذلك.

استخراج النصوص- المعروف أيضًا باسم استخراج بيانات النصوص - هو مجال فرعي من استخراج البيانات، يهدف إلى تحويل النص غير المنظم إلى تنسيق منظم لتحديد الأنماط ذات المغزى وتوليد رؤى جديدة. قد تشمل البيانات غير المنظمة نصوصًا من مصادر تشمل منشورات وسائل التواصل الاجتماعي، التقييمات، المقالات، البريد الإلكتروني أو صيغ وسائط غنية مثل ملفات الفيديو والصوت. الكثير من البيانات المتاحة للجمهور حول العالم غير منظمة، مما يجعل استخراج النصوص ممارسة قيّمة.

يقع استخراج العمليات عند التقاطع بين إدارة عمليات الأعمال (BPM) واستخراج البيانات. يوفر استخراج العمليات طريقة لتطبيق الخوارزميات على بيانات سجل الأحداث لتحديد الاتجاهات والأنماط وتفاصيل كيفية تطور العمليات. يستخدم استخراج العمليات علم البيانات لاكتشاف مواطن الاختناق، ثم التحقق من صحة مهام سير العمل وتحسينها.

عادة ما تجمع إدارة عمليات الأعمال (BPM) البيانات بشكل غير رسمي من خلال ورش العمل والمقابلات، ثم يستخدم البرمجيات لتوثيق سير العمل كخريطة للعمليات. نظرًا لأن البيانات التي تُعد مصدرًا لخرائط العمليات هذه غالبًا ما تكون نوعية، فإن استخراج العمليات تجلب نهجًا كميًا أكثر لمشكلة العملية، مع تفصيل العملية الفعلية من خلال بيانات الحدث.

توفر أنظمة المعلومات، مثل تخطيط موارد المؤسسات (ERP) أو أدوات إدارة علاقات العملاء (CRM)، مسار تدقيق للعمليات من بيانات السجلات. تستخدم استخراج العمليات هذه البيانات التي يتم الحصول عليها من أنظمة تكنولوجيا المعلومات لتجميع نموذج عملية أو رسم بياني للعملية. من هناك، يمكن للمؤسسة فحص العملية من البداية إلى النهاية مع تحديد التفاصيل وأي اختلافات.

تتضمن عملية استخراج البيانات عدة خطوات بدءًا من جمع البيانات إلى العرض المصوّر لها لاستخراج معلومات قيمة من مجموعات البيانات الكبيرة. يمكن استخدام تقنيات استخراج البيانات لتوليد أوصاف وتوقعات حول مجموعة البيانات المستهدفة.

يقوم علماء البيانات أو أخصائيو ذكاء الأعمال بوصف البيانات من خلال ملاحظاتهم للأنماط والارتباطات والعلاقات. كما يقومون بتصنيف البيانات وتجميعها من خلال أساليب التصنيف والانحدار، وتحديد القيم المتطرفة لحالات الاستخدام، مثل اكتشاف الرسائل غير المرغوب فيها.

عادة ما يتضمن استخراج البيانات خمس خطوات رئيسية: تحديد الأهداف، اختيار البيانات، إعداد البيانات، بناء نماذج البيانات، واستخراج الأنماط وتقييم النتائج.

1. تحديد أهداف العمل: قد يكون هذا هو الجزء الأصعب في عملية استخراج البيانات، وتقضي العديد من المؤسسات وقتًا قليلًا جدًا في هذه الخطوة المهمة. حتى قبل تحديد البيانات أو استخراجها أو تنظيفها، يمكن لعلماء البيانات والأطراف المعنية العمل معاً لتحديد المشكلة التجارية الدقيقة، مما يساعد في توجيه أسئلة البيانات والمعايير للمشروع. قد يحتاج المحللون أيضًا إلى إجراء المزيد من البحث لفهم سياق الأعمال بشكل كامل.

2. اختيار البيانات: عندما يتم تحديد نطاق المشكلة، يصبح من الأسهل على علماء البيانات تحديد مجموعة البيانات التي ستساعد في الإجابة عن الأسئلة ذات الصلة بالشركة. يمكنهم وفريق تكنولوجيا المعلومات أيضا تحديد مكان تخزين البيانات وتأمينها.

3. إعداد البيانات: يتم جمع البيانات ذات الصلة وتُنقّى لإزالة أي ضوضاء، مثل التكرار، القيم المفقودة، والقيم الخارجية. اعتمادًا على مجموعة البيانات، قد يتم اتخاذ خطوة إضافية لإدارة البيانات لتقليل عدد الأبعاد، حيث يمكن أن يؤدي كثرة الميزات إلى إبطاء أي عملية حسابية لاحقة.

يتطلع علماء البيانات إلى الاحتفاظ بأهم المتنبئات للمساعدة في ضمان الدقة المثلى في أي نموذج. علم البيانات المسؤول يعني التفكير في النموذج خارج نطاق الرمز البرمجي والأداء، وهو يتأثر بشكل كبير بالبيانات المستخدمة ومدى موثوقيتها.

4. بناء نماذج البيانات، واستخراج الأنماط: اعتمادًا على نوع التحليل، قد يبحث علماء البيانات في أي اتجاهات أو علاقات بيانات مثيرة للاهتمام، مثل الأنماط المتسلسلة أو قواعد الارتباط أو العلاقات. في حين أن الأنماط عالية التردد لها تطبيقات أوسع، إلا أن الانحرافات في البيانات قد تكون في بعض الأحيان أكثر إثارة للاهتمام، مما يسلط الضوء على مجالات الاحتيال المحتملة. يمكن أن تساعد النماذج التنبؤية في تقييم الاتجاهات أو النتائج المستقبلية. في أكثر الأنظمة تطورًا، يمكن للنماذج التنبؤية إجراء تنبؤات في الوقت الفعلي من أجا الاستجابة السريعة للأسواق المتغيرة.

قد تستخدم خوارزميات التعلم العميق أيضاً لتصنيف أو تجميع مجموعة بيانات حسب البيانات المتاحة. إذا تم تصنيف بيانات الإدخال (كما في التعلم الخاضع للإشراف)، فقد يستخدم نموذج تصنيف لتصنيف البيانات، أو بدلاً من ذلك، قد يطبق انحدار للتنبؤ باحتمالية تعيين معين. إذا لم تكن مجموعة البيانات مصنفة (أي أن التعلم غير خاضع للإشراف)، تتم مقارنة نقاط البيانات الفردية في مجموعة التدريب لاكتشاف أوجه التشابه الأساسية، وتجميعها بناء على تلك الخصائص.

5. تقييم النتائج وتنفيذ المعرفة: عند تجميع البيانات، يمكن إعدادها للعرض، غالباً باستخدام تقنيات العروض المصورة للبيانات، حتى يمكن تقييم النتائج وتفسيرها. من الناحية المثالية، تكون النتائج النهائية صالحة وجديدة ومفيدة ومفهومة. عندما يتم استيفاء هذه المعايير، يمكن لصناع القرار استخدام هذه المعرفة لتنفيذ الاستراتيجية الجديدة لتحقيق الأهداف المرجوة منها.

فيما يلي بعض أشهر أنواع استخراج البيانات:

قواعد الاقتران: قاعدة الاقتران هي طريقة تعتمد على قاعدة إذا / إذن ، للعثور على العلاقات بين المتغيرات في مجموعة البيانات. تقاس قوة العلاقات بالدعم والثقة. يعتمد مستوى الثقة على عدد المرات التي تكون فيها عبارات الشرط صحيحة. مقياس الدعم هو عدد المرات التي تظهر فيها العناصر ذات الصلة في البيانات.

تُستخدم هذه الأساليب بشكل متكرر لتحليل سلة السوق، مما يمكّن الشركات من فهم العلاقات بين المنتجات المختلفة بشكل أفضل، مثل تلك التي يتم شراؤها معًا بشكل متكرر. إن فهم عادات العملاء يمكّن الشركات من تطوير استراتيجيات بيع البدائل ومحركات التوصية بشكل أفضل.

التصنيف : يتم تعريف فئات الكائنات مسبقًا، حسب احتياج المؤسسة، مع تعريفات للخصائص المشتركة بين الكائنات. يتيح ذلك إمكانية تجميع البيانات الأساسية وتصنيفها لتسهيل تحليلها.

على سبيل المثال، قد تفحص شركة منتجات استهلاكية استراتيجيتها الخاصة بالكوبونات من خلال مراجعة عمليات استرداد القسائم السابقة مع بيانات المبيعات، وإحصائيات المخزون، وأي بيانات مستهلك متاحة للعثور على أفضل المجموعة المستقبلية.

التجميع: مرتبط ارتباطاً وثيقا بالتصنيف، وتتمثل وظيفة التجميع في الإبلاغ عن الجوانب المتشابهة، لكنه يوفر أيضاً المزيد من التجميعات بناء على الاختلافات. قد تشمل التصنيفات المسبقة لمصنع الصابون المنظفات، المبيض، منعم الغسيل، منظف الأرضيات وشمع الأرضيات؛ بينما قد يؤدي التجمع إلى خلق مجموعات تشمل منتجات الغسيل والعناية بالأرضيات.

شجرة القرار: تستخدم هذه التقنية تحليلات التصنيف أو الانحدار لتصنيف أو التنبؤ بالنتائج المحتملة بناء على مجموعة من القرارات. كما يوحي اسم شجرة القرار، تستخدم تصوراً شبيها بالشجرة لتمثيل النتائج المحتملة لهذه القرارات.

الجار الأقرب (KNN): تُعرف أيضًا باسم خوارزمية K-NNN، وهي خوارزمية غير بارامترية تصنف نقاط البيانات بناءً على قربها وارتباطها بالبيانات الأخرى المتاحة. تفترض هذه الخوارزمية أن نقاط البيانات المماثلة موجودة بالقرب من بعضها. نتيجة لذلك، تسعى لحساب المسافة بين نقاط البيانات، عادة عبر المسافة الإقليدية، ثم تخصص فئة بناء على أكثر فئة أو متوسط شيوعاً.

الشبكات العصبية: تستخدم بشكل أساسي لخوارزميات التعلم العميق، حيث تعالج الشبكات العصبية بيانات التدريب من خلال محاكاة الترابط بين دماغ الإنسان عبر طبقات من العقد. تتكون كل عقدة من الإدخالات وعوامل الترجيح والتحيز (أو الحد) والمخرجات.

إذا تجاوزت قيمة المخرجات هذه عتبة معينة، فإنها "تطلق" أو تنشّط العقدة، وتمرر البيانات إلى الطبقة التالية في الشبكة. تتعلم الشبكات العصبية وظيفة التخطيط هذه من خلال التعلم الخاضع للإشراف، حيث تجري تعديلات بناء على دالة الفقدان من خلال عملية النزول التدرجي. عندما تكون دالة التكلفة عند الصفر أو قريبة منه، يمكن للمؤسسة أن تكون واثقة من دقة النموذج في الحصول على الإجابة الصحيحة.

التحليلات التنبؤية: من خلال دمج استخراج البيانات مع تقنيات النمذجة الإحصائية والتعلم الآلي، يمكن تحليل البيانات التاريخية باستخدام تحليلات تنبؤية لإنشاء نماذج بيانية أو رياضية تهدف إلى تحديد الأنماط، والتنبؤ بالأحداث والنتائج المستقبلية، وتحديد المخاطر والفرص.

الانحدار: تكتشف هذه التقنية العلاقات في البيانات من خلال التنبؤ بالنتائج بناء على متغيرات محددة مسبقا. يمكن أن يشمل ذلك شجرة القرار والانحدار الخطي ومتعدد المتغيرات. يمكن تحديد أولويات النتائج حسب قرب العلاقة للمساعدة في تحديد البيانات الأكثر أو الأقل أهمية. ومن الأمثلة على ذلك أن تقوم إحدى الشركات المصنعة للمشروبات الغازية بتقدير المخزون المطلوب من المشروبات قبل وصول طقس الصيف الحار المتوقع.

يتم تبني استخدام تقنيات استخراج البيانات على نطاق واسع من قِبل فرق ذكاء الأعمال وتحليل البيانات، مما يساعدهم على استخراج المعرفة لمؤسستهم وصناعتهم. تتضمن بعض حالات استخدام استخراج البيانات ما يلي:

بينما يمكن أن توفر الأنماط المتكررة في البيانات للفرق رؤى قيمة، فإن ملاحظة الحالات الشاذة في البيانات مفيدة أيضاً، حيث تساعد المؤسسات في الكشف عن الاحتيال، واختراقات الشبكة، وعيوب المنتجات. في حين أن حالة الاستخدام هذه معروفة جيداً داخل المؤسسات المصرفية والمؤسسات المالية الأخرى، فقد بدأت الشركات القائمة على البرمجيات كخدمة أيضاً في تبني هذه الممارسات لإزالة حسابات المستخدمين المزيفة من مجموعات البيانات الخاصة بها. يمكن أن يكون كشف الحالات الشاذة فرصة أيضاً لاكتشاف استراتيجيات جديدة ومبتكرة أو أسواق مستهدفة تم تجاهلها في الماضي.

تستطيع المؤسسات الوصول إلى المخاطر وتحديد حجمها بدقة أكبر من خلال استخراج البيانات. يمكن الكشف عن الأنماط والحالات الشاذة في مجالات الأمن السيبراني والمالي والقانوني لتحديد نقاط التجاهل أو التهديدات.

من خلال البحث في قواعد بيانات متعددة للعثور على علاقات وثيقة، يمكن أن يربط استخراج البيانات بدقة بين السلوكيات وخلفيات العملاء وبين مبيعات عناصر محددة. يمكن أن يؤدي ذلك إلى تمكين المزيد من الحملات المستهدفة للمساعدة في زيادة المبيعات.

يمكن اكتشاف مشكلات العملاء وإصلاحها بشكل أسرع إذا تم مراجعة مجموع إجراءات العملاء — في الموقع، عبر الإنترنت، عبر تطبيقات الأجهزة المحمولة أو عبر الهاتف — باستخدام استخراج البيانات. يمكن لموظفي خدمة العملاء الوصول إلى معلومات أكثر اكتمالاً وثراءً عن العملاء الذين يخدمونهم.

يمكن استخراج البيانات التشغيلية من المعدات الصناعية التي تساعد في التنبؤ بالأداء المستقبلي وفترات التوقف وتمكين التخطيط للصيانة الوقائية.

يستخدم استخراج العمليات تقنيات استخراج البيانات لتقليل التكاليف عبر الوظائف التشغيلية، مما يمكن المؤسسات من العمل بكفاءة أكبر. يمكن أن تساعد هذه الممارسة في تحديد الاختناقات المكلفة وتحسين صنع القرار لقادة الأعمال.

يمكن أن يؤدي استخراج البيانات إلى إنشاء مصدر بيانات أكثر ثراءً لخدمة العملاء من خلال المساعدة في تحديد العوامل الأكثر إرضاءً للعملاء والعوامل التي تسبب تخلي العملاء أو عدم الرضا.

بدأت المؤسسات التعليمية في جمع البيانات لفهم تركيبات مجموعات طلابها والبيئات التي تؤدي إلى النجاح. من خلال الدورات التدريبية التي تستخدم غالباً المنصات الإلكترونية، يمكنهم استخدام أبعاد ومقاييس مختلفة لمراقبة وتقييم الأداء، مثل ضغطات المفاتيح، ملفات الطلاب، الدروس التي حضرها والوقت الذي يقضونه.

عند إجراء الأبحاث حول المخاطر، غالبًا ما ترغب المؤسسات المالية والبنوك في إلقاء شبكة واسعة النطاق، لالتقاط أي عوامل قد تؤثر سلبًا على التدفق النقدي واسترجاعه. يمكن أن تكون أدوات استخراج البيانات مفيدة في العثور على مجموعة من العوامل التي تشير إلى وجود مخاطر جيدة أو سيئة وموازنتها.

ويُعد استخراج البيانات أداة مفيدة لتشخيص الحالات الطبية —بما في ذلك قراءة عمليات الفحص والصور — ومن ثم المساعدة في اقتراح علاجات مفيدة.

يمكن للمؤسسات اكتساب رؤى جديدة حول الأداء ورضا الموظفين من خلال تحليل العوامل المتعددة وإيجاد أنماط. يمكن أن تشمل البيانات تاريخ البدء، التثبيت الوظيفي، الترقيات، الراتب، التدريب، أداء الأقران، تسليم العمل، استخدام الفوائد، والسفر.

بدءًا من المواد الخام وحتى التسليم النهائي، يمكن تحليل جميع جوانب عملية التصنيع لتحسين الأداء. ما تكلفة المواد وهل توجد خيارات؟ ما مدى كفاءة الإنتاج؟ أين الاختناقات؟ ما مشكلات الجودة وأين تنشأ، سواءً على المستوى الداخلي أو مع العملاء؟

من خلال التنقيب عن بيانات العملاء وإجراءاتهم، يمكن لتجار التجزئة تحديد الحملات الأكثر إنتاجية والتسعير والعروض الترويجية وعروض المنتجات الخاصة وعمليات بيع المنتجات البديلة وبيع البديل الأعلى الناجحة.

تجمع الشركات كميات هائلة من البيانات عن عملائها الحاليين والمحتملين. من خلال مراقبة المعلومات الديموغرافية للمستهلكين، وردود فعل وسائل الإعلام، وسلوك العملاء، يمكن للشركات استخدام البيانات لتحسين حملاتها التسويقية، مما يحسن التقسيم والاستهداف وبرامج ولاء العملاء، وكل ذلك يساعد في تحقيق عائد استثمار أعلى (ROI) من جهود التسويق. يمكن للتحليلات التنبؤية أيضًا أن تساعد الفرق في تحديد التوقعات مع الأطراف المعنية، وتوفير تقديرات العائد لأي زيادة أو نقصان في الاستثمار التسويقي.

يمكن أن يساعد تحليل بيانات المستخدمين في الكشف عن فرص تحريرية جديدة أو مصادر جديدة للإيرادات الإعلانية للجمهور المستهدف.

باستخدام استخراج البيانات، يمكن لمديري المنتجات التنبؤ بشكل أفضل بالطلب، أو زيادة الإنتاج، أو تعديل مقدمي الخدمات، أو تكييف جهود التسويق. يمكن لمديري سلسلة التوريد التخطيط بشكل أفضل للشحن والتخزين.