تاريخ النشر: 7 أغسطس 2024
المشارك: Tim Mucci
مشاركة البيانات هي عملية إتاحة موارد بيانات منظمة ما للعديد من التطبيقات والمستخدمين والمنظمات الأخرى. وتنطوي المشاركة الفعالة للبيانات على مزيج من التقنيات والممارسات وأطر العمل القانونية والجهود التنظيمية لتسهيل الوصول الآمن لكيانات متعددة من دون المساس بسلامة البيانات.
تدرك المنظمات التي تعتمد تحليلات البيانات الكبيرة أن البيانات تمثل أصلاً إستراتيجيًا قيمًا في محفظتها، وتأتي هذه البيانات من مصادر متنوعة، مثل المقاييس المستمدة من تطبيقات البرامج وبيانات سلوك العملاء وإشارات إنترنت الأشياء(IOT) الصادرة عن الأجهزة والمستشعرات.
لنفترض أن البيانات تشبه كتبًا في المكتبة، وتشبه مشاركة البيانات امتلاك بطاقة مكتبة تسمح لكل شخص في المنظمة بالوصول إلى هذه الكتب واستعارتها عند الحاجة إليها. ومن دون مشاركة البيانات، سيتعين على كل قسم إنشاء مكتبة خاصة به والحفاظ عليها، ما يؤدي إلى الازدواجية ووجود معلومات قديمة وقلة الموارد.
يمكن للمنظمات التي تشارك البيانات أن تتعاون بفعالية أكبر مع الشركاء وتتيح فرص عمل جديدة وتكوِّن شراكات جديدة وإيجاد مصادر للإيرادات من خلال منتجات البيانات وغيرها من عمليات تحقيق الدخل. ومع ذلك، تتطلب مشاركة البيانات التزامًا بالحفاظ على سلامة البيانات المشتركة وموثوقيتها طوال دورة حياتها، بما يضمن الإبقاء على جدارتها بالثقة وتماسكها وكونها مفيدة للتحليل الدقيق. وتتيح المشاركة الناجحة للبيانات للأطراف المعنية الحصول على وجهات نظر قيّمة وتطوير خدمات وتقنيات جديدة والاستعداد للاتجاهات القادمة من خلال تحليل كميات هائلة من البيانات من داخل المنظمة وخارجها.
لطالما كانت المنظمات تشارك البيانات حتى قبل اختراع الإنترنت بوقت طويل، بيد أن التقدم في مهارات الإلمام بالتقنية الرقمية وتقدم التقنيات واعتماد السحابة أدى إلى مشاركة البيانات في الوقت الفعلي على نطاق عالمي. وقد أصبح تخزين البيانات ونقل التقنية متاحين أكثر من أي وقت مضى وبأسعار معقولة، ما أدى إلى سن السياسات واللوائح التنظيمية للحد من المخاطر المرتبطة بمشاركة البيانات. ولا تقتصر مشاركة البيانات على إتاحة الوصول من أجل التحليل وتحقيق الدخل، بل إنها تكسر الحواجز بين وحدات الأعمال والشركاء الخارجيين، حيث تتمكن الفرق المختلفة من العمل بشكل مستقل أو مع بعضها، وتستفيد كل منها من مصدر البيانات المحدثة نفسه. وتتيح زيادة كمية البيانات المتاحة وتنوعها للفرق المختلفة في المنظمة إمكانية الإسهام في تحقيق الأهداف التنظيمية الأشمل.
يؤدي جمع المعلومات من مصادر مختلفة -مثل البيانات البحثية أو البيانات التشغيلية أو تعليقات العملاء- إلى تحسين أداء الخدمة وتعزيز قيمة تلك الخدمات. فعلى سبيل المثال، يمكن لوحدات الأعمال التي تتمتع بإمكانية الوصول إلى البيانات استخدام تحليل البيانات لاتخاذ القرارات بناءً على اتجاهات السوق وتفضيلات العملاء ووضع إستراتيجيات تسويق ناجحة.
علاوة على ذلك، تتيح مشاركة البيانات للسلطات العامة والمنظمات مشاركة البيانات بطريقة آمنة وقانونية ومحوكمة. ينطوي جزء أساسي من صحة مشاركة البيانات على قيام منتجي البيانات بتوثيق مجموعة البيانات وتصنيفها بعناية ببيانات وصفية دقيقة لدعم إمكانية إعادة الإنتاج. وتضمن الأوصاف التفصيلية ذات التعريفات الواضحة أن يتمكن الآخرون من العثور على البيانات المشتركة واكتشافها وفهمها بسهولة.
أجرى "منتدى مستقبل الخصوصية" 1 (FPF) تحليلاً لشراكات مشاركة البيانات بين الشركات والباحثين الأكاديميين وأكد على أن هذه الشراكات من شأنها أن تسرّع من البحوث المفيدة اجتماعيًا، وتوسع نطاق الوصول إلى مجموعات البيانات القيمة، وتحسن إمكانية تكرار نتائج البحوث. ومع تزايد انتشار مشاركة البيانات، تتخذ الأطراف المعنية خطوات استباقية للتصدي للمخاطر واختراقات أمن البيانات عن طريق اتفاقيات مشاركة البيانات (DSA) وتقنيات تعزيز الخصوصية (PET).
تقدم شركة IBM مثالاً يُحتذى به لاستخدام بروتوكولات صارمة للخصوصية والأمان في ممارسات مشاركة البيانات، بما في ذلك استخدام تقنيات تعزيز الخصوصية لإخفاء هوية البيانات قبل مشاركتها مع الجامعات والمنظمات غير الربحية ومختبرات الأبحاث. ويدعم نهج IBM الاكتشافات العلمية مع حماية البيانات الحساسة، ما يعزز الشراكات الأكثر أمانًا وفعالية. فعلى سبيل المثال، تعاونت IBM مع Melbourne Water في أستراليا لتحليل البيانات التي تهدف إلى الحد من انبعاثات الطاقة. وخلال جائحة كوفيد-19، عالجت IBM التسلسلات الجينومية لفيروس المتلازمة التنفسية الحادة الوخيمة كورونا 2 (سارس كوف 2)، وأسهمت بأكثر من ثلاثة ملايين تسلسل في أحد مستودعات الأبحاث.
وتقدم منظمة Benefits Data Trust الأمريكية غير الربحية مثالاً قويًا آخر على قيمة مشاركة البيانات، حيث تعزز منظمة Benefits Data Trust (BDT) مشاركة البيانات بين الولايات والمنظمات المعنية بالرعاية الصحية والتعليم في الولايات المتحدة، وتدعم المنظمة التسجيل في البرامج العامة الحساسة مثل برنامج المساعدة الغذائية التكميلية (SNAP) وبرنامج Medicaid عن طريق اتفاقيات مشاركة البيانات.
قامت إدارة الخدمات الاجتماعية في ولاية كارولينا الجنوبية ومنظمة Benefits Data Trust بمقارنة القوائم الشهرية لبرنامج Medicaid وبرنامج المساعدة الغذائية التكميلية (SNAP)، حيث حددوا الأفراد المؤهلين غير المسجلين في البرنامج. وقد أدت هذه المبادرة إلى تسجيل أكثر من 20,000 شخص إضافي في برنامج SNAP منذ عام 2015، ما أدى إلى تحسين إمكانية حصول السكان الضعفاء على المساعدة الغذائية. كما حققت جهود مماثلة في ولاية بنسلفانيا نجاحًا، حيث ساعدت مشاركة البيانات في تسجيل ما يقرب من 240000 شخص في برامج المساعدة الحكومية المختلفة منذ عام 2005.
في حين أن مشاركة البيانات توفر للشركات كثير من الميزات، فإنها تنطوي أيضًا على مخاطر. فعندما تُوزَّع المعلومات الحساسة بشكل غير صحيح، يمكن أن يعرض ذلك المنظمة إلى المخاطر التنظيمية والتنافسية والمالية والأمنية. ويمتلك مستهلكو البيانات قدرة محدودة للسيطرة على جودة البيانات وتوافرها. وقد تنطوي البيانات منخفضة الجودة أيضًا على تحيزات خفية ضد الجنسين أو الأعراق أو الأديان أو المجموعات العرقية.
تضع عمليات إدارة البيانات السياسات والمعايير وأفضل الممارسات لإدارة البيانات بشكل آمن ودقيق ومتسق في كل أجزاء المنظمة. وتحد الإدارة الفعالة من الوصول بحيث يكون مقتصرًا على المستخدمين المصرح لهم فقط والذين لديهم أذونات لاستخدام البيانات. كما تحمي الإدارة البيانات وتصنفها وتساعد على ضمان استخدامها بما يتوافق مع الهيئات القانونية والتنظيمية.
لكل منظمة التزامات قانونية وأخلاقية لحماية خصوصية بيانات العملاء التي تديرها. وتسمح تقنيات مثل التشفير وتنقيح البيانات بالمشاركة الآمنة للبيانات مع حماية الخصوصية. ومع ذلك، يمكن أن يؤدي نقص التواصل بين منتجي البيانات ومستهلكيها إلى سوء الفهم، ما يؤدي إلى افتراضات غير صحيحة عند وضع التقارير أو الانخراط في مبادرات صنع القرارات القائمة على البيانات.
على سبيل المثال، في عام 2012، عانت شركة Knight Capital Group 2 من خلل في التداول بسبب نقص التواصل والتنسيق بين الفرق، ما تسبب في خسارة 440 مليون دولار أمريكي في 45 دقيقة فقط، حيث أدى تحديث البرنامج عن غير قصد إلى تنشيط جزء غير مختبر وغير موثق وخامل من البرامج المضمنة. ونظرًا لأن المطورين لم يتواصلوا بفعالية بشأن التأثيرات المحتملة للتغييرات على أنظمة المتداولين، أُجريت صفقات خاطئة بسرعة عالية، ما أدى إلى خسارة مالية كبيرة.
إن الحركة المكلفة للبيانات، خاصةً من خلال عمليات الاستخراج والتحويل والتحميل(ETL) التي تتطلب الكثير من الموارد، لطالما أعاقت مشاركة البيانات على نطاق واسع. وقد يمثل الحفاظ على جودة البيانات وأفضل الممارسات الإدارية تحديًا، خاصة عند التعامل مع كميات هائلة من البيانات. وتستغرق عملية المشاركة الآمنة لمجموعة كبيرة من البيانات عبر الشبكات وقتًا كثيرًا وتتطلب درجة عالية من التقنية واستثمارًا كبيرًا في التخزين والبنية التحتية.
يتطلب أمن البيانات تدابير حماية وتعليم صارمين لحماية البيانات الحساسة، حيث تكون المعلومات التي تنتقل عبر الشبكات والمنصات أثناء عمليات مشاركة البيانات عرضة للتهديدات، مثل الوصول غير المصرح به واختراق أمن البيانات والهجمات الإلكترونية. وعلاوةً على ذلك، يجب أن تطلع المنظمات على القوانين واللوائح المعقدة المعنية بخصوصية البيانات عند مشاركة البيانات مع الشركاء الخارجيين أو مع الأطراف المعنيين أو مع الموردين الخارجيين.
إن تطبيق أفضل الممارسات في مشاركة البيانات يساعد المنظمات في تعظيم الميزات مع تقليل المخاطر.
تتيح سوق البيانات للمنظمات إمكانية مشاركة البيانات ومنتجات البيانات الخاصة بها وتحقيق الإيرادات منها بأمان. وهناك عدة أنواع مختلفة من أسواق البيانات:
توفر أسواق البيانات العامة بيئة آمنة للمشاركين لشراء البيانات والخدمات ذات الصلة وبيعها، والتي بدورها تقر بالجودة العالية والاتساق من مقدمي البيانات. ويمكن للشركات استخدام سوق البيانات للحصول على بيانات الجهة الخارجية لإثراء مجموعة البيانات الموجودة لديها أو لتقديم منتجات وخدمات جديدة للبيانات وتحقيق دخل منها.
يؤدي كل نوع من أنواع مشاركة البيانات دورًا محددًا في تسهيل التبادل الآمن للمعلومات.
مستودع البيانات ومستودع بحيرة البيانات هما النوعان الأكثر استخدامًا من أنواع تقنيات مشاركة البيانات في المنظمات التابعة للمنظمات. وتوفر أنظمة بنية البيانات الحديثة هذه مستودعات مركزية لجمع البيانات الكبيرة، وتخزينها ومشاركتها من عدة وحدات أعمال. وعادةً ما تتضمن هذه البنى مستويات لعملاء الواجهة الأمامية ومحركات التحليلات وخوادم قواعد البيانات.
تتيح واجهات برمجة التطبيقات (APIs) لعناصر البرامج مشاركة المفاهيم والبروتوكولات المشتركة، حيث تدعم واجهات برمجة التطبيقات لمشاركة البيانات ضوابط الوصول والأذونات الدقيقة، وتحدد أي البيانات يمكن للعملاء طلبها وأيها لا يمكنهم طلبها.
يعد التعلم الموحد وتقنيات سلسلة الكتل ومنصات تبادل البيانات من التقنيات الأخرى التي تدعم مشاركة البيانات. ويسمح التعلّم الموحد لأنظمة الذكاء الاصطناعي بالتدريب على مجموعة البيانات الموزعة من مصادر متنوعة من دون الحاجة إلى نقل البيانات. كما توفر سلسلة الكتل دفتر حسابات يمتاز بالشفافية والثبات لتتبع المعاملات، بما في ذلك تلك التي تتم في عمليات تبادل البيانات المفتوحة، ما يوفر طبقة من النزاهة والأمان لعمليات مشاركة البيانات.
تتيح التقنيات القديمة مثل بروتوكول Secure File Transfer (SFTP) والبريد الإلكتروني الحلول المحلية القابلة للتكيف مع مختلف الموردين، ولكن يصعب تأمينها والتحكم فيها بشكل متزايد. فهي تفتقر إلى ميزات الأمان المتقدمة مثل التشفير في حالة السكون وضوابط الوصول إلى البيانات الدقيقة والتدقيق الآلي، وتلك الميزات أكثر شيوعًا في الحلول الحديثة.
تركز الحلول الحديثة للبيانات على المشاركة الآمنة للبيانات، حيث يوفر تخزين البيانات السحابي قابلية التوسع والموثوقية ويفرض قيودًا على إمكانية الوصول والأمان. وتوفر حلول مشاركة البيانات الخاصة بالمورّدين أمانًا مدمجًا وقابلية للتوسع، ولكنها غالبًا ما تؤدي إلى احتكار منتج معين، ما يحد من المرونة ويزيد من التكاليف على المدى الطويل.
تعمل تقنيات تعزيز الخصوصية وغرف البيانات النظيفة وغيرها من التقنيات الأخرى على تعزيز عمليات البيانات من خلال الأتمتة. وتسلط هذه الاتجاهات الضوء على التحول نحو الخصوصية واللامركزية والنهج المستندة إلى الذكاء الاصطناعي في معالجة البيانات وتحليلها.
تؤكد الاتجاهات المستقبلية في مشاركة البيانات على الأهمية المتزايدة للخصوصية، فقد أصبحت تقنيات تعزيز الخصوصية مثل الحوسبة الآمنة متعددة الأطراف وإخفاء البيانات ضرورية لتحقيق التوازن بين المشاركة السلسة للبيانات والحماية الآمنة للبيانات. ويمنح اعتماد تقنيات تعزيز الخصوصية الشركات ميزة تنافسية، حيث أصبحت هذه الأدوات جزءًا لا يتجزأ من العمليات.
غرف البيانات النظيفة هي بيئات آمنة تركز على الخصوصية حيث يمكن لأطراف متعددة التعاون بشأن البيانات من دون مشاركة البيانات غير المنسقة. فهي تسمح للشركات بإجراء التحليلات واكتساب الرؤى مع حماية البيانات الحساسة، بحيث تظل متوافقة مع لوائح الخصوصية. كما تساعد الغرف النظيفة في الحفاظ على الثقة بين الشركاء من خلال منع الإفصاح عن المعلومات الشخصية والسماح بمشاركة البيانات المجمعة مجهولة المصدر.
تتيح شبكة البيانات للمنظمة إمكانية معالجة البيانات بوصفها منتجًا، ما يجعلها قابلة للاكتشاف والاستخدام بتنسيق الخدمة الذاتية. ويتيح هذا النهج لوحدات الأعمال إنشاء منتجات البيانات الخاصة بها وإدارتها بشكل مستقل. كما أنه يسهل أيضًا العرض المركزي للبيانات عبر مختلف المنصات والتقنيات، ما يحسن الاتصال والرؤى دون الحاجة إلى منصات بيانات منفصلة.
يمكن للنماذج اللغوية الكبيرة (LLM) تبسيط هندسة البيانات والعمليات من خلال أتمتة مهام مثل اكتشاف أنماط البيانات ونمذجة البيانات وتكامل البيانات، ما يؤدي إلى تحسين جودة البيانات. ويتيح نشر الذكاء الاصطناعي التوليدي داخل البنى التحتية للبيانات الحالية للمنظمة إمكانية التعامل مع المهام الروتينية بشكل أكثر كفاءة، ما يوفر موارد للقيام بتحليلات أكثر تعقيدًا واتخاذ القرارات.
يساعد مركز IBM Data Product Hub على تبسيط مشاركة البيانات وأتمتة توصيل منتجات البيانات لمستهلكي البيانات عبر المنظمة.
يمكن أن يساعد IBM Cloud Pak for Data في تحسين جودة البيانات والخصوصية والامتثال، كما يمكن أن يساعد المستخدمين أيضًا في العثور على البيانات التي يحتاجونها بشكل أسرع.
IBM watsonx.data هو مخزن بيانات هجين وقابل للتوسع، ومصمم بحيث يلائم أحمال تشغيل الذكاء الاصطناعي والتحليلات، حيث يوفر الوصول المفتوح إلى البيانات ومحركات الاستعلام المناسبة للغرض والتكامل مع بيئات البيانات المختلفة، ما يتيح إعداد البيانات وإدارتها بكفاءة في أي بيئة إعداد سواء أكانت سحابية أو محلية.
1 مشاركة البيانات لأغراض البحث (يؤدي الرابط إلى صفحة خارج موقع Ibm.com)، منتدى مستقبل الخصوصية، أغسطس 2022
2 اضطراب تداول أسهم شركة Knight Capital Group (يؤدي الرابط إلى صفحة خارج Ibm.com)، ويكيبيديا، أغسطس 2012