الهيكل المثالي لمؤسسة عمليات البيانات

تميل الاتصالات الخارجية للمؤسسة إلى أن تعكس اتصالاتها الداخلية. فهذا ما علمنا إياه Melvin Conway، وذلك ينطبق على هندسة البيانات. إذا لم يكن لديك فريق "عمليات بيانات" محدد بوضوح، فستكون مخرجات بيانات شركتك فوضوية مثل الإدخال.

عمليات البيانات هي عملية تجميع البنية التحتية لتوليد البيانات ومعالجتها، وكذلك الحفاظ عليها. كما أنها أيضًا اسم الفريق الذي ينفذ (أو يجب أن ينفذ) هذا العمل—عمليات البيانات أو DataOps. ماذا يفعل فريق عمليات البيانات؟ حسنًا، إذا كانت شركتك تدير مسارات بيانات، فإن إطلاق فريق واحد تحت هذا المسمى لإدارة تلك المسارات يمكن أن يضيف عنصرًا من التنظيم والسيطرة الذي قد يكون مفقودًا بخلاف ذلك.

لا يقتصر وجود فريق عمليات البيانات على الشركات التي تبيع بياناتها فقط. أثبت التاريخ الحديث أنك بحاجة إلى فريق عمليات بيانات بغض النظر عن مصدر تلك البيانات أو استخدامها. العميل الداخلي أو العميل الخارجي، كلاهما متشابهان. أنت بحاجة إلى فريق واحد لإنشاء مسارات (أو دعونا نكن حقيقيين، نرث ثم نعيد إنشاء) المسارات. يجب أن يكونوا الأشخاص نفسهم (أو بالنسبة إلى العديد من المؤسسات، الأشخاص) الذين يطبقون أدوات قابلية الملاحظة والتتبع ويراقبون جودة البيانات عبر خصائصها الأربع.

وبالطبع، يجب أن يكون الأشخاص الذين صمموا مسار البيانات هم الأشخاص أنفسهم الذين يتلقون تنبيه PagerDuty المخيف عند تعطل لوحة التحكم،—ليس لأن ذلك عقابي، بل لأنه تعليمي. عندما يكون للناس مصلحة في الأمر، فإنهم يصممون بشكل مختلف. وهذا حافز جيد ويسمح بحل المشكلات بشكل أفضل وبسرعة أكبر.

أخيرًا وليس آخرًا، يحتاج فريق عمليات البيانات إلى مهمة—تتجاوز مجرد "نقل البيانات“ من النقطة أ إلى النقطة ب. ولهذا السبب يُعد جزء "العمليات" من وظيفتهم مهمًا للغاية.

تنشئ عمليات البيانات عمليات مرنة لنقل البيانات لغرضها المقصود. يجب أن تحرّك جميع البيانات لسبب ما. وفي كثير من الأحيان، يكون هذا السبب هو تحقيق الإيرادات. إذا لم يتمكن فريق عمليات البيانات من تتبّع خط واضح من الهدف النهائي، مثل تمكّن فرق المبيعات من الحصول على توقعات أفضل وتحقيق أرباح أكثر، إلى أنشطة إدارة مسارات البيانات لديهم، فهُناك مشكلة.

من دون عمليات، ستظهر المشكلات في أثناء التوسع:

• تكرار البيانات
• التعاون المضطرب
• انتظار البيانات
• حلول مؤقتة ستترك ندوبًا
• مشكلات الاكتشاف
• أدوات غير متصلة
• تناقضات التسجيل
• عدم وجود عمليات
• عدم وجود ملكية واتفاقيات مستوى الخدمة

إذا كان هناك انقطاع في الاتصال، فأنت ببساطة تمارس إدارة البيانات القديمة البسيطة. إدارة البيانات هي جانب الصيانة التلقائية لعمليات البيانات. والتي، رغم أهميتها، ليست إستراتيجية. فعندما تكون في وضع الصيانة، تكون تبحث عن سبب العمود المفقود أو فشل المسارات وتصلحها، لكنك لا تملك الوقت للتخطيط والتحسين.

يصبح عملك "عمليات" حقيقية عندما تقوم بتحويل تذاكر المتاعب إلى إصلاحات متكررة. على سبيل المثال، عندما تجد خطأً في التحويل قادمًا من أحد الشركاء، فترسل البريد الإلكتروني إليه لإصلاحه قبل أن يصل إلى المسار الخاص بك. أو يمكنك تنفيذ شريط "تنبيهات" على لوحة معلومات المديرين التنفيذيين لديك لإخبارهم عندما يكون هناك خطأ ما حتى يعرفوا أنه يجب عليهم انتظار التحديث. تهدف عمليات البيانات، تمامًا مثل مطور العمليات، إلى وضع أنظمة بديهية قابلة للتكرار والاختبار والتفسير، ما يؤدي في النهاية إلى تقليل الجهد للجميع.

مقارنة بين عمليات البيانات وإدارة البيانات. والسؤال الآن هو: كيف ينبغي تنظيم فريق عمليات البيانات هذا؟

لذلك دعونا نعد إلى حيث بدأنا—نتحدث عن كيفية عكس مخرجات النظام الخاص بك للهيكل التنظيمي الخاص بك. وإذا كان فريق عمليات البيانات الخاص بك هو فريق "عمليات" بالاسم فقط، ويقتصر دوره في الغالب على الصيانة، فمن المحتمل أن تتلقى تراكمًا متزايدًا من الطلبات. نادرًا ما يكون لديك الوقت الكافي للتنفس لإجراء تغييرات صيانة طويلة الأمد، مثل تبديل نظام أو تعديل عملية. وأنت عالق في مساعدة الاستجابة لـ Jira أو ServiceNow.

من ناحية أخرى، إذا كنت قد أسست (أو أعدت إطلاق) فريق عمليات البيانات الخاص بك بمبادئ قوية وهيكل منظم، فإنك تنتج بيانات تعكس هيكلك الداخلي عالي الجودة. إذ تنتج هياكل فريق عمليات البيانات الجيدة بيانات جيدة.

اجمع مهندس بيانات وعالم بيانات ومحللاً في مجموعة أو "حجيرة" ودعهم يتناولون الأمور معًا التي ربما كانوا سيتناولونها بشكل منفصل. ومن ثم، تؤدي هذه المناظير الثلاثة إلى قرارات أفضل وتردد أقل وبصيرة أكبر. فعلى سبيل المثال، بدلاً من أن يكتب عالم البيانات دفتر ملاحظات غير مفهوم ويقدمه للمهندس ليحدث تكرارًا مستمرًا، يمكن له وللمحلل مناقشة ما يحتاجون إليه، ويشرح المهندس كيف ينبغي إنجاز ذلك.
تعمل العديد من فرق عمليات البيانات بهذه الطريقة بالفعل. يقول Krishna Puttaswamy وSuresh Srinivas من شركة أوبر: "يجب أن تهدف الفرق إلى أن يكون فريق عملها بمثابة "الواجهة الأمامية والخلفية للتطبيقات"، بحيث تكون الموهبة اللازمة في هندسة البيانات متاحة لإلقاء نظرة طويلة على دورة حياة البيانات بأكملها". وفي موقع السفر Agoda، يستخدم فريق الهندسة الحجيرات للسبب نفسه.

افعل هذا حتى لو كنت شخصًا واحدًا فقط. فكل دور هو "قبعة" يجب أن يرتديها شخص ما. ولكي يكون لديك فريق تشغيل بيانات عالي الأداء، فمن المفيد معرفة أي قبعة في مكانها، ومن مالك البيانات بالنسبة إلى أي شيء. كما تحتاج أيضًا إلى تقليل مدى سيطرة كل فرد إلى مستوى يمكن التحكم فيه. ربما يساعدك توضيحه بهذه الطريقة في تعزيز حاجتك لتوظيف شخص.

ما المقصود بإدارة فريق عمليات البيانات؟ طبقة من التنسيق فوق هياكل الفرق الصغيرة لديك تقوم بدور القائد الخادم. إنهم يديرون المشروعات ويقومون بالتدريب ويفتحون العوائق. ومن الناحية المثالية، فهم يمثلون أكثر الأشخاص خبرة في الفريق.

لقد توصلنا إلى هيكلنا المثالي، في الصورة، على الرغم من أنه عمل قيد التقدم. من المهم ملاحظة أن هناك شخصًا واحدًا يقود رؤية للبيانات (نائب الرئيس). ويوجد تحتهم العديد من القادة الذين يوجهون مختلف تخصصات البيانات نحو تلك الرؤية (المديرون)، وتحتهم فرق متعددة التخصصات تضمن عمل تنظيم البيانات وميزات البيانات معًا. (يعود الفضل في هذه الأفكار إلى مهندس حلول البيانات لدينا، Michael Harper).

يساعد اختيار مقياس North Star جميع المعنيين على فهم ما يجب عليهم تحسينه. ومن دون مثل هذا الاتفاق، ستنشأ نزاعات. ربما يشكو "عملاء" بياناتك الداخلية من بطء البيانات. لكن السبب في بطء العملية هو أنك تعلم أن رغبتهم غير المعلنة هي تحسين الجودة أولاً.

النجوم الشمالية الشائعة في مجال عمليات البيانات: جودة البيانات والأتمتة (العمليات القابلة للتكرار) ولا مركزية العمليات (المعروفة أيضًا باسم الاكتفاء الذاتي للمستخدم النهائي).

بمجرد أن يكون لديك North Star، يمكنك أيضًا تحديد المقاييس الفرعية أو المبادئ الفرعية التي تشير إلى North Star، والتي تكون دائمًا مؤشرًا متأخرًا.

نظّم الفريق بحيث يجب على المجموعات المختلفة داخله التفاعل بشكل متكرر وسؤال المجموعات الأخرى عن الأشياء. يمكن أن تكون هذه التفاعلات لا تقدر بثمن. يقول Amir Arad، مدير الهندسة الأول في Agoda: "عندما يتعرف علماء البيانات والمهندسون على طريقة عمل بعضهم بعضًا، تعمل هذه الفرق بسرعة أكبر وتنتج أكثر".

يقول Amir إنه يرى أن إحدى القيم الخفية للقليل من التكرار بين مختلف الوظائف هي أنك تجعل الناس يطرحون أسئلة لم يفكر أحد في هذا الفريق في طرحها.

يقول Amir: "تُعد الفجوة المعرفية الهندسية أمرًا رائعًا في الواقع. ويمكن أن يؤدي ذلك إلى مطالبتهم بالتبسيط." و"قد يقولون: "ولكن لماذا لا يمكننا فعل ذلك؟" وأحيانًا، نعود ونكتشف أننا لا نحتاج إلى هذا الرمز أو هذا الخادم. وأحيانًا يقدم غير الخبراء أفكارًا جديدة."

تمامًا كما هو الحال مع عمليات التطوير، فإن أفضل فرق عمليات البيانات غير ملحوظة، وتعمل باستمرار على جعل نفسها غير ضرورية. فبدلاً من لعب دور البطل الذي يحب الانقضاض لإنقاذ الجميع، ولكنه في النهاية يجعل النظام ضعيفًا، العب دور القائد الخادم. استهدف، كما قال Lao Tzu، توجيه الناس إلى الحل بطريقة تجعلهم يفكرون، "لقد فعلنا ذلك بأنفسنا".

تعامل مع فريق عمليات البيانات الخاص بك مثل فريق المنتج. ادرس عميلك. احتفظ بتراكم الإصلاحات. هدفنا هو جعل الأداة مفيدة بما يكفي لاستخدام البيانات فعليًا.

لا يوجد شيء اسمه “مبكر جدًا” لمراقبة البيانات ومدى الاستفادة منها. التشبيه الذي يُستخدم غالبًا لتبرير تأجيل المراقبة هو: "نحن نبني الطائرة أثناء الطيران." فكِّر في هذه الصورة. ألا يخبرك هذا بكل ما تحتاج إلى معرفته عن بقائك على قيد الحياة على المدى الطويل؟ التشبيه الأفضل بكثير هو البنية القديمة البسيطة. فكلما أطلت الانتظار لبناء أساس، زادت تكلفة وضعه، وزادت المشكلات التي يسببها غياب الأساس.

اقرأ: ما المقصود بإمكانية ملاحظة البيانات؟

القرارات التي تتخذها الآن بشأن بنية بياناتك التحتية ستُحدث، كما قال الجنرال Maximus ، "صدى في الأبدية". الحلول السريعة التي تبدو ذكية اليوم ستكون غدًا كابوسًا هائلاً من الفوضى الداخلية التي تُحوّل البيانات. إذ يجب عليك تأمين الدعم التنفيذي لاتخاذ قرارات غير مريحة لكنها صحيحة، مثل إخبار الجميع أنهم بحاجة إلى إيقاف الطلبات مؤقتًا لأنك تحتاج إلى ربع سنة لإصلاح الأمور.

يشير اختصار CASE إلى عبارة "انسخ واسرق كل شيء"، وهي طريقة ساخرة لقول: "لا تبن كل شيء من الصفر". فثمة العديد من الخدمات المصغرة المفيدة والعروض مفتوحة المصدر اليوم. قف على أكتاف العمالقة وركز على إنشاء 40% من المسارات لديك التي تحتاج فعليًا إلى تخصيصها، وأنشئها بإتقان.

انتقل لإلقاء نظرة على التذاكر في سجلاتك المتراكمة. كم مرة تكون في وضع رد الفعل بدلاً من التنبؤ بالمشكلات مسبقًا؟ كم عدد المشكلات التي تعاملت معها وكان لها سبب أساسي واضح يمكن تحديده؟ كم عدد المشكلات التي تمكنت من إصلاحها بشكل دائم؟ كلما زادت قدرتك على التنبؤ بالمشكلات مسبقًا، زاد تشبهك بفريق عمليات البيانات الحقيقي. وكلما وجدت أداة إمكانية ملاحظة البيانات أكثر فائدة. يمكن أن تساعدك الرؤية الكاملة على الانتقال من مجرد الصيانة إلى التحسين النشط.

تعمل الفرق التي تعمل بنشاط على تحسين هيكلها بشكل فعال على تحسين بياناتها. يؤدي التناغم الداخلي إلى التناغم الخارجي، في علاقة من شأنها أن تجعل Melvin Conway فخورًا.

تعرف على المزيد عن منصة إمكانية ملاحظة البيانات من IBM Databand وكيف تساعد على الكشف عن حوادث البيانات في وقت مبكر وحلها بشكل أسرع وتقديم بيانات أكثر جدارة بالثقة إلى الشركات. إذا كنت مستعدًا لإلقاء نظرة أعمق، فاحجز عرضًا توضيحيًا اليوم.