التغلب على التحديات الأساسية الثلاثة للبيانات غير المنظمة

البيانات الموثوقة بالغة الأهمية لمساعدة المؤسسات على النجاح في مبادراتها المتعلقة بالذكاء الاصطناعي التوليدي. تواجه المؤسسات صعوبة في الاستفادة من ما يمكن أن يكون مصدرًا قويًا للرؤى: البيانات غير المنظمة. حوالي 90% من البيانات التي تنتجها المؤسسات هي بيانات غير منظمة، حيث يتم تخزين المعلومات القيمة في رسائل البريد الإلكتروني ومستندات PDF وملفات الفيديو وغيرها من التنسيقات.¹

والخبر السار هو أن الحلول والأساليب المتطورة يمكن أن تمكّن المؤسسات من تنظيم بياناتها غير المنظمة والوصول إليها واستخلاص المعلومات منها. جلست Alice Gomstyn، المساهمة في "Think"، مع Dinesh Nirmal، النائب الأول لرئيس قسم البرمجيات في IBM، لمناقشة كيف يمكن للمؤسسات إطلاق العنان لإمكانات كنوز البيانات التي كانت تعتبر في السابق بعيدة عن متناولها.

Gomstyn: ما هي التحديات التي تواجهها المؤسسات عندما يتعلق الأمر باستخدام بياناتها غير المنظمة؟

Nirmal: هناك ثلاثة تحديات أساسية تتعلق بالبيانات غير المنظمة. قابلية التوسع هي أول التحديات. كيف تقوم بتوسيع نطاقها وكيف تحكمها؟ والثاني، كيف تتأكد من وجود أداء و دقة للذكاء الاصطناعي التوليدي المرتبط به؟ والتحدي الثالث يدور حول كيفية ربط البيانات غير المنظمة والمنظمة معًا لاستخلاص القيمة من تلك البيانات.

Gomstyn: هل يمكنك توضيح تحدي قابلية التوسع وما يلزم لمعالجته؟

Nirmal: البيانات غير المنظمة أكثر تعقيدًا بمعنى أنها قد تحتوي على مئات الحقول وقد يكون بعضها حقولاً جماعية أو حقولاً آمنة. عندما تستوعب تلك المستندات، يصبح من الضروري أن يكون استيعابها محكومًا وأن يتم تخزين البيانات في مخزن محكوم مثل مستودع بحيرة البيانات.

تحتاج أيضًا إلى الحوكمة في مسار البيانات الخاص بك. كيف يمكنك إدخال قابلية الملاحظة والمراقبة؟ إذا كان هناك انحراف في هذا المسار أو تغيير في هذا المسار، فكيف يمكنك تحديده بسرعة وحله؟ هذه المسارات قد تكون معقدة وطويلة، وتريد التأكد من حصولك على النتائج الصحيحة، ووقت التنفيذ، والأداء والدقة طوال الوقت. أنت بحاجة إلى أدوات للتأكد من أنه يمكنك بناء المسارات وإدارتها ومراقبتها.

بالنسبة للمؤسسات، يتعلق الأمر أيضًا بالأمان. يصبح أمن البيانات عنصرًا حساسًا للتأكد من عدم فقدان تلك البيانات. لدينا أدوات أمن البيانات للتأكد من أن البيانات مشفرة. لذلك، كلما قمت بالتوسع، أردت التأكد من أن الحوكمة والأمان المتوفرين لديك على الجانب المنظم يمتدان أيضًا إلى الجانب غير المنظم.

Gomstyn: ماذا عن التحدي الأساسي الثاني: تحقيق أداء نموذج الذكاء الاصطناعي؟

Nirmal: هناك فرصة كبيرة في هذا المجال، لأن الذكاء الاصطناعي التوليدي لا يمكن أن ينجح إلا إذا تمكنا من تقديم بيانات محكومة وموثوقة لهذه النماذج للتدريب والتوجيه.

وتتيح أدوات الحوكمة أيضًا إمكانية الوصول إلى البيانات. باستخدام أدوات الحوكمة مثل كتالوجات البيانات، يمكنني إتاحة البيانات غير المنظمة لعلماء البيانات ومهندسي المطالبات، حتى يتمكنوا من ضبط نماذجهم باستخدام البيانات غير المنظمة.

الحوكمة والابتكار يسيران جنبًا إلى جنب. إذا كنت تبتكر حقا لتوفير الخدمة الذاتية للبيانات، فيجب أن تكون الحوكمة في مكانها الصحيح حتى تتمكن من القيام بالخدمة الذاتية. من منظور منتجات البيانات، فإن إتاحة الخدمة الذاتية للبيانات هي العنصر الأول الذي يجب أن تضعه ضمن أولوياتك.

Gomstyn: كيف تتغلب على التحدي الثالث المتمثل في ربط البيانات المنظمة وغير المنظمة؟

Nirmal: المشهد الحالي هو أنه إذا كان لديك بيانات غير منظمة في شكل مستند، فيجب عليك تقسيم المستند أو تقسيمه إلى أجزاء متعددة وتخزينه كتضمين داخل قاعدة بيانات المتجهات.

التحدي الذي يحدث هو أنك تفقد الدقة لأنك لا تعرف أين تقوم بتقسيم البيانات. دعنا نقول أنك قمت بتقطيع أو تقسيم جزء من منتصف جدول. ندما تعيد الجدول، فإنك تعيد نصف الجدول، وتكون قد فقدت دقته.

ماذا يمكننا أن نفعل؟ نحن لا نقوم فقط بتخزين البيانات في قاعدة بيانات متجهة فحسب، بل نأخذ أيضًا جوانب المعاملات الخاصة بهذا المستند ونضعها في قاعدة بيانات معاملات. وعندما يكون لديك استعلام اللغة الطبيعية، فإنك تقارن بين الجانبين لتقول، كيف يمكنني جمع البيانات معًا للحصول على دقة وأداء أفضل لذلك؟ هنا يأتي دور RAG SQL أو Graph RAG—يمكنك استخدامها للحصول على مستوى أعلى من الدقة. هذا هو بيت القصيد من التأكد من أنك تقوم بربط البيانات بين قاعدة بيانات المعاملات وما لديك على قاعدة بيانات المتجه.

Gomstyn: ما هي أهم المهارات والكفاءات التي يجب على قادة تكنولوجيا المعلومات تطويرها لإدارة البيانات غير المنظمة بفعالية؟

Nirmal: هندسة البيانات هي الجزء الأكثر أهمية في جانب البيانات غير المنظمة. على الجانب المنظم، هندسة البيانات هي تخصص جيد التنظيم، لكن على الجانب غير المنظم، لم تنطلق حقًا بسبب الكم الهائل من البيانات.

لكن الآن، أصبحت الحوكمة والأمن وكل تلك الأمور تدخل في الجانب غير المنظم للأشياء. نحن بحاجة إلى مهندسي بيانات لهندسة البيانات حرفيًا، لإتاحتها كمسارات للبيانات. نحتاج إليهم لإنشاء منتجات بيانات للبيانات غير المنظمة، وإتاحة الخدمة الذاتية لكل عالم بيانات وكل مهندس. يمكن استخدام المهارات التي يستخدمها مهندسو البيانات على جانب البيانات المنظمة على الجانب غير المنظم. سيتم تطبيقها فقط على نطاق أوسع بكثير.

Gomstyn: كيف تقيس نجاح المشاريع التجريبية للبيانات غير منظمة؟

Nirmal: يأتي العائد الحقيقي للاستثمار عندما تكون هناك قيمة للمستخدم النهائي في المؤسسة. لذا، على سبيل المثال، أتصل بشركة الهاتف التي أتعامل معها، ويكون مندوب العملاء على الخط. عندما أطرح سؤالاً، يجب أن يبحثوا عن الإجابة قبل أن يعطوني إياها.

الآن، باستخدام الذكاء الاصطناعي التوليدي، أستطيع القيام بذلك عبر الإنترنت. يمكنني فقط طرح سؤال بسيط على مساعد أو روبوت محادثة، والذي يمكنه الوصول إلى تنسيق بيانات غير منظم مثل فاتورة. في غضون 15 ثانية، لدي إجابة تلخص فاتورتي أو شيء ما عن حسابي. انظر إلى الوقت الذي وفرته. لم أكن بحاجة إلى أن أستغرق 15 دقيقة في انتظار مكالمة من شخص ما للرد على مكالمتي. كل شئ في متناول يدي. لقد مكّنني الذكاء الاصطناعي التوليدي من ذلك كمستخدم نهائي.

الأمر كله يتعلق بالإنتاجية، وتوفير الوقت، والتحسين الذي يحركه الذكاء الاصطناعي التوليدي، خاصة فيما يتعلق بالبيانات غير المنظمة.

تم تحرير هذا اللقاء وتكثيفه من أجل الوضوح والطول.