التغلب على التحديات الأساسية الثلاثة للبيانات غير المنظمة

البيانات الموثوقة بالغة الأهمية لمساعدة المؤسسات على النجاح في مبادراتها المتعلقة بالذكاء الاصطناعي التوليدي. تواجه المؤسسات صعوبة في الاستفادة من ما يمكن أن يكون مصدرًا قويًا للرؤى: البيانات غير المنظمة. حوالي 90% من البيانات التي تنتجها المؤسسات هي بيانات غير منظمة، حيث يتم تخزين المعلومات القيمة في رسائل البريد الإلكتروني ومستندات PDF وملفات الفيديو وغيرها من التنسيقات.¹

والخبر السار هو أن الحلول والأساليب المتطورة يمكن أن تمكّن المؤسسات من تنظيم بياناتها غير المنظمة والوصول إليها واستخلاص المعلومات منها. جلست Alice Gomstyn، المساهمة في "Think"، مع Dinesh Nirmal، النائب الأول لرئيس قسم البرمجيات في IBM، لمناقشة كيف يمكن للمؤسسات إطلاق العنان لإمكانات كنوز البيانات التي كانت تعتبر في السابق بعيدة عن متناولها.

Gomstyn: ما هي التحديات التي تواجهها المؤسسات عندما يتعلق الأمر باستخدام بياناتها غير المنظمة؟

Nirmal: هناك ثلاثة تحديات أساسية تتعلق بالبيانات غير المنظمة. قابلية التوسع هي أول التحديات. كيف تقوم بتوسيع نطاقها وكيف تحكمها؟ والثاني، كيف تتأكد من وجود أداء و دقة للذكاء الاصطناعي التوليدي المرتبط به؟ والتحدي الثالث يدور حول كيفية ربط البيانات غير المنظمة والمنظمة معًا لاستخلاص القيمة من تلك البيانات.

Gomstyn: هل يمكنك توضيح تحدي قابلية التوسع وما يلزم لمعالجته؟

Nirmal: البيانات غير المنظمة أكثر تعقيدًا بمعنى أنها قد تحتوي على مئات الحقول وقد يكون بعضها حقولاً جماعية أو حقولاً آمنة. عندما تستوعب تلك المستندات، يصبح من الضروري أن يكون استيعابها محكومًا وأن يتم تخزين البيانات في مخزن محكوم مثل مستودع بحيرة البيانات.

تحتاج أيضًا إلى الحوكمة داخل مسار البيانات الخاص بك. كيف يمكنك إدخال قابلية الملاحظة والمراقبة إلى هذا المسار؟ إذا كان هناك انحراف في هذا المسار أو تغيير في هذا المسار، فكيف يمكنك تحديده بسرعة وحله؟ هذه المسارات قد تكون معقدة وطويلة، وتريد التأكد من حصولك على النتائج الصحيحة، ووقت التنفيذ، والأداء والدقة طوال الوقت. أنت بحاجة إلى أدوات للتأكد من أنه يمكنك بناء المسارات وإدارتها ومراقبتها.

وبالنسبة للمؤسسات، تمثّل أمن البيانات عنصرًا بالغ الأهمية. يصبح أمن البيانات عنصرًا حاسمًا لضمان عدم فقدان تلك البيانات. ولدينا أدوات لحماية البيانات تضمن تشفيرها بالكامل. ومع التوسع، يجب أن تمتد مبادئ الحوكمة والأمان المطبّقة على البيانات المنظمة لتشمل البيانات غير المنظمة أيضًا.

Gomstyn: ماذا عن التحدي الأساسي الثاني: تحقيق أداء نموذج الذكاء الاصطناعي؟

Nirmal: هناك فرصة كبيرة في هذا المجال، لأن الذكاء الاصطناعي التوليدي لا يمكن أن ينجح إلا إذا تمكنا من تقديم بيانات محكومة وموثوقة لهذه النماذج للتدريب والتوجيه.

وتتيح أدوات الحوكمة أيضًا إمكانية الوصول إلى البيانات. باستخدام أدوات الحوكمة مثل فهارس البيانات، يمكنني إتاحة البيانات غير المنظمة لعلماء البيانات ومهندسي الموجّهات، حتى يتمكنوا من ضبط نماذجهم باستخدام البيانات غير المنظمة.

الحوكمة والابتكار يسيران جنبًا إلى جنب. إذا كنت تبتكر حقا لتوفير الخدمة الذاتية للبيانات، فيجب أن تكون الحوكمة في مكانها الصحيح حتى تتمكن من القيام بالخدمة الذاتية. من منظور منتجات البيانات، فإن إتاحة الخدمة الذاتية للبيانات هي العنصر الأول الذي يجب أن تضعه ضمن أولوياتك.

Gomstyn: كيف تتغلب على التحدي الثالث المتمثل في ربط البيانات المنظمة وغير المنظمة؟

Nirmal: الوضع الحالي هو أنه إذا كان لديك بيانات غير منظمة في شكل مستند، فلا بد من تقسيم هذا المستند إلى أجزاء متعددة وتخزينه على شكل تمثيلات متجهية داخل قاعدة بيانات متجهات.

التحدي الذي يحدث هو أنك تفقد الدقة لأنك لا تعرف أين تقوم بتقسيم البيانات. دعنا نقول أنك قمت بتقطيع أو تقسيم جزء من منتصف جدول. ندما تعيد الجدول، فإنك تعيد نصف الجدول، وتكون قد فقدت دقته.

ماذا يمكننا أن نفعل؟ لا نكتفي بتخزين البيانات داخل قاعدة متجهات، بل نأخذ المعاملات المرتبطة بالمستند ونخزنها داخل قاعدة بيانات معاملات. وعند استلام استعلام بلغة طبيعية، فإنك تقارن بين الجانبين لتقول، كيف يمكنني جمع البيانات معًا للحصول على دقة وأداء أفضل لذلك؟ هنا يأتي دور تقنيات مثل RAG SQL أو Graph RAG—والتي تتيح الحصول على مستوى أعلى من الدقة. الهدف الكامل هو الربط بين بيانات المعاملات وما هو مخزَّن في قاعدة المتجهات لتحقيق نتائج أفضل.

Gomstyn: ما هي أهم المهارات والكفاءات التي يجب على قادة تكنولوجيا المعلومات تطويرها لإدارة البيانات غير المنظمة بفعالية؟

Nirmal: هندسة البيانات هي الجزء الأكثر أهمية في جانب البيانات غير المنظمة. على الجانب المنظم، هندسة البيانات هي تخصص جيد التنظيم، لكن على الجانب غير المنظم، لم تنطلق حقًا بسبب الكم الهائل من البيانات.

لكن الآن، أصبحت الحوكمة والأمن وكل تلك الأمور تدخل في الجانب غير المنظم للأشياء. نحن بحاجة إلى مهندسي بيانات لهندسة البيانات حرفيًا، لإتاحتها كمسارات للبيانات. نحتاج إليهم لإنشاء منتجات بيانات للبيانات غير المنظمة، وإتاحة الخدمة الذاتية لكل عالم بيانات وكل مهندس. يمكن استخدام المهارات التي يستخدمها مهندسو البيانات على جانب البيانات المنظمة على الجانب غير المنظم. سيتم تطبيقها فقط على نطاق أوسع بكثير.

Gomstyn: كيف تقيس نجاح المشاريع التجريبية للبيانات غير منظمة؟

Nirmal: يأتي العائد الحقيقي للاستثمار عندما تكون هناك قيمة للمستخدم النهائي في المؤسسة. لذا، على سبيل المثال، أتصل بشركة الهاتف التي أتعامل معها، ويكون مندوب العملاء على الخط. عندما أطرح سؤالاً، يجب أن يبحثوا عن الإجابة قبل أن يعطوني إياها.

الآن، باستخدام الذكاء الاصطناعي التوليدي، أستطيع القيام بذلك عبر الإنترنت. يمكنني فقط طرح سؤال بسيط على مساعد أو روبوت محادثة، والذي يمكنه الوصول إلى تنسيق بيانات غير منظم مثل فاتورة. في غضون 15 ثانية، لدي إجابة تلخص فاتورتي أو شيء ما عن حسابي. انظر إلى الوقت الذي وفرته. لم أكن بحاجة إلى أن أستغرق 15 دقيقة في انتظار مكالمة من شخص ما للرد على مكالمتي. كل شئ في متناول يدي. لقد مكّنني الذكاء الاصطناعي التوليدي من ذلك كمستخدم نهائي.

الأمر كله يتعلق بالإنتاجية، وتوفير الوقت، والتحسين الذي يحركه الذكاء الاصطناعي التوليدي، خاصة فيما يتعلق بالبيانات غير المنظمة.

تم تحرير هذا اللقاء وتكثيفه من أجل الوضوح والطول.