Определение

Что такое контроль данных?

Контроль данных состоит из политик, процедур и организационной структуры для поддержки процесса управления данными предприятия. Структура программы контроля данных обеспечивает понимание, безопасность и доверие к данным организации среди заинтересованных сторон, особенно по мере того, как компании масштабируются и накапливают больше источников данных и активов. В связи с экспоненциальным накоплением новых данных компаниям приходится искать подходящие среды для хранения больших данных и доступа к ним, такие как озера данных. Также возникает необходимость разработки архитектуры данных для управления этими источниками, их интеграции и предоставления доступа в масштабах всей организации. Эта интеграция данных становится все более важной, поскольку она влияет на рабочие процессы и принятие решений различными командами.

Контроль данных имеет важное значение для общей стратегии организации по управлению данными и является важной частью целостного процесса DataOps. Контроль помогает узнать, какие данные у вас есть, где они находятся и как их можно использовать. Контроль позволяет обеспечить готовность данных к коммерческому использованию, поскольку соблюдение установленных правил и следование стандартным процессам ускоряет аналитику и реализацию инициатив по развитию.

Контроль данных и IBM

Платформа контроля данных с интегрированным каталогом данных поможет вашей организации находить, подбирать, анализировать, готовить и передавать данные для поддержки ваших инициатив в области ИИ. Решения IBM для контроля данных помогают обеспечить готовность конвейера данных для каталогизации, защиты и управления конфиденциальными данными, а также для отслеживания происхождения данных.

Достоинства решений IBM

IBM Watson Knowledge Catalog

Предоставьте готовые бизнес-данные для использования в ИИ и аналитике с помощью каталога данных, поддерживаемого активными метаданными и процессами управления политикой. Помогите своим коллегам найти данные для отбора, категоризации, контроля, анализа и использования.

Получите более глубокое представление о контроле данных

Преимущества контроля данных

Заинтересованные лица могут добиться успеха в масштабах всей организации с помощью надежных методов контроля данных, которые обеспечивают более глубокое понимание и защиту данных.

Повышение безопасности и нормативно-правового соответствия данных

Разные типы данных могут предусматривать различные разрешения или правила, особенно если эти данные содержат персональные данные (ПД). Практика контроля данных может способствовать обеспечению безопасности и соблюдения нормативных требований, помогая компаниям снизить риски нарушений и штрафов, а также поддерживая доверие клиентов. Методы контроля данных помогают определять типы ПД и их местонахождение, а с помощью политики и управления метаданными можно автоматизировать процесс соблюдения требований.  

Нормы по защите конфиденциальности только ужесточаются с появлением глобальных правил, таких как Общеевропейский регламент по защите персональных данных (General Data Protection Regulation, GDPR), который обеспечивает конфиденциальность данных для граждан ЕС, особенно в Интернете. Кроме того, существуют отраслевые и региональные правила, такие как Закон об ответственности и переносе данных о страховании здоровья граждан (Health Insurance Portability and Accountability Act, HIPAA), созданные для защиты пациентов и их личной медицинской информации. Стимулируемые развитием маркетинга, основанного на данных, и переходом на удаленную работу, нормативные требования обретают повышенную актуальность, поскольку клиенты становятся более осведомленными о своих правах в отношении данных, а компании решают проблемы растущих репутационных рисков.

Повышение качества данных

Инструменты бизнес-аналитики хороши ровно настолько, насколько качественны данные, которые они используют. Если базовые данные не очищаются и не обрабатываются должным образом, это может повлиять на способность пользователей принимать обоснованные бизнес-решения. Кроме того, данные часто берутся из различных источников, несогласованность которых может затруднить процесс аналитики и другую важную деятельность. Контроль данных помогает связать информацию между системами для определения значимых отношений, чтобы получить максимальную отдачу от данных организации, а также обеспечивает учет всех критически важных данных.

Ускорение автоматизации

Обладая практиками и инструментами для поддержания организации и качества данных, аналитические группы получают возможность вводить новшества и автоматизировать определенные задачи и процессы с помощью алгоритмов машинного обучения. Например, данные о клиентах можно вводить в рамках моделей с целью определения приоритетов потенциальных клиентов в воронке продаж. Поскольку практика контроля данных помогает обеспечить точность и защиту данных о клиентах, команды сотрудников могут добиться большего роста и количества целенаправленных продаж.

Роли в процессе контроля данных

В процессах контроля данных существует несколько ключевых ролей. Три роли обеспечивают создание и поддержку стандартов с течением времени, помогая обеспечивать нормативное соответствие, безопасность и качество данных, а также достигать целей автоматизации.

Главный специалист по обработке и анализу данных

Кураторы проекта, например главные специалисты по обработке и анализу данных, обозначают важность программы контроля данных для организации путем расстановки приоритетов. Эти лица играют важную роль в развитии межфункционального совета, который обычно занимается привлечением участников из различных служебных подразделений с целью представления потребностей и интересов в рамках различных областей знаний или портфолио продуктов. Такой комитет служит форумом для обсуждения новых инициатив по контролю данных и для распределения обязанностей с целью достижения согласованных сроков и результатов.

Держатели данных

Эти лица отвечают за состояние данных. Обычно они назначаются в зависимости от типа данных, которыми они управляют (данных о клиентах или финансовых данных), и их деятельность направлена на поддержку точности и удобства использования данных. Стандартные задачи состоят в устранении проблем с данными, утверждении определений данных и предоставлении рекомендаций по данным, особенно если речь идет о любых нормативных требованиях.

Распорядители данных

Эти лица являются профильными экспертами (SME) в своей области, которые помогают формировать политику в отношении данных и оказывают поддержку в контроле данных в рамках организации. Поскольку они могут сообщать о важности конкретных точек данных для бизнес-процессов или решений, они также могут влиять на структуры таблиц баз данных, чтобы обеспечивать отображение нужных данных для целей отчетности. В целом, тем не менее, распоряжение данными помогает обеспечивать ответственность заинтересованных сторон за свою роль в поддержании качества данных.

Структура контроля данных

Практики контроля данных применяются всё чаще, что по большей мере вызвано ростом числа проектов по цифровой трансформации. Чтобы инициативы по контролю данных приносили успешные результаты, они должны включать ряд компонентов, среди которых:

Стандарты данных

Следует разработать словари данных, таксономии и бизнес-глоссарии для обеспечения ясности в отношении определений предприятия и данных. Эта документация уменьшает путаницу во взаимодействиях, особенно в тех, которые связаны с показателями и отчетами. Это также дает заинтересованным сторонам представление об архитектуре данных, позволяя командам сотрудников самостоятельно вводить новшества для автоматизации процессов в своей области знаний.

Процессы обработки данных и организационная структура

Процессы контроля данных обеспечивают для конечных пользователей прозрачность обработки данных в рамках организации. Механизмы контроля могут описывать частоту обновления данных, ограничения, связанные с ПД, нормативную политику в отношении данных или просто порядок доступа к данным. Такого рода документация также служит подспорьем для формализации организационной структуры, поскольку в ней разъясняются обязанности различных ролей, связанные с управлением данными и их хранением.

Технология

Различные инструменты контроля данных, например платформы управления метаданными, поддерживают процессы и стандарты, связанные с данными. Эти инструменты могут хранить и обеспечивать сохранность информации о данных, которыми управляет организация. Сюда может входить документация по бизнес-терминологии, журналам данных, держателям данных, информации базы данных (например, по именам баз данных и таблиц, расположению серверов, типам данных и т. д.). Эта информация также может использоваться в рамках инструментов для самостоятельного анализа данных, позволяя аналитикам запрашивать и визуализировать различные наборы данных для отчетов или инновационных проектов.

Рекомендуемые ресурсы контроля данных

Отзывы

Вам также могут быть интересны

IBM Cloud Pak® for Data

Гибкая мультиоблачная платформа данных, которая интегрирует локальные и облачные данные и помогает поддерживать их в большей безопасности в месте хранения.

IBM® DataStage®

Масштабируемый инструмент интеграции данных для проектирования, разработки и выполнения заданий по перемещению и преобразованию данных в среде заказчика и в облачных средах.

IBM InfoSphere Advanced Data Preparation

ПО, обеспечивающее самостоятельный доступ к данным. Функции автоматического преобразования позволяют сразу же приступать к анализу данных.

Дальнейшие действия