O que é governança de dados?

Um framework de governança de dados detalha as estruturas e os processos de uma organização para gerenciar ativos de dados críticos. Ela define a propriedade e as responsabilidades dos dados e especifica como os dados devem ser tratados para manter a qualidade de dados, a segurança e a conformidade dos dados.

Não existe uma estrutura única para todos, pois as estruturas geralmente são roteiros personalizados para os sistemas de dados, fontes de dados, protocolos dos setores e regulamentações do governo exclusivas de uma organização específica.

As estruturas de governança de dados geralmente lidam com itens como:

• Objetivos, funções e deveres do programa
• Padrões, políticas e processos de dados
• Procedimentos de auditoria
  
• Ferramentas de governança de dados

Os programas de governança de dados normalmente definem uma meta específica ou um conjunto de metas, como aprimorar a qualidade de dados, apoiar a conformidade ou possibilitar a tomada de decisões baseada em dados. Eles também selecionam métricas para medir o progresso em direção a essas metas. As principais métricas de governança podem incluir:

• Reduções nos erros e redundância de dados.

• Reduções de custo decorrentes de maior eficiência e tempo mais rápido de colocação no mercado.

• Consistência e integridade dos dados.

• O nível de alfabetização de dados e conformidade com processos dos funcionários.

Os programas de governança também definem as funções e responsabilidades de todos os envolvidos: comitê de direção, proprietários de dados, administradores de dados e stakeholders.

• Membros do comitê de direção, ou conselho de governança, supervisionam a estratégia de governança de dados e a direção geral da framework. Esse comitê geralmente envolve executivos de alto nível, como gerentes em nível de diretoria ou vice-presidentes que supervisionam vários departamentos.
  
  
• Os proprietários de dados supervisionam os domínios de dados específicos nas unidades de negócios. Essas pessoas são responsáveis por manter a precisão, a qualidade e a coerência dos dados e oferecem informações sobre soluções de governança de dados, políticas de dados e requisitos normativos.
  
  
• Os administradores de dados lidam com o gerenciamento diário de domínios de dados específicos. 
  
  
• Stakeholders e equipes de negócios são os consumidores de dados corporativos. 

As estruturas de governança definem parâmetros para os dados a serem governados e aos resultados desejados. Isso inclui a definição de diretrizes para formatos de dados, modelos de dados, gerenciamento de dados mestres (GDM), metadados, convenções de nomenclatura e outros. 

As estruturas de governança geralmente mapeiam fluxos de dados e definem como os dados serão coletados, armazenados, migrados e arquivados. Eles também podem identificar o hardware, o software e os serviços que apoiarão os esforços de governança e a arquitetura de dados mais ampla da organização.

Algumas estruturas de governança podem definir escopos de dados, que são parâmetros de acesso para ativos de dados específicos, como dados mestre, metadados e dados históricos. Um escopo de dados pode ajudar a garantir que os usuários e aplicativos tenham acesso somente aos dados de que precisam e que ninguém tenha acesso aos dados que não deveriam.

Os frameworks de governança descrevem procedimentos de teste, auditoria e manutenção de registros para manter a transparência e explicabilidade do programa de governança.

Auditorias regulares podem ajudar a verificar se os usuários estão em conformidade com o framework de governança de dados. As auditorias também podem ajudar a identificar maneiras pelas quais o programa de governança deve evoluir para levar em conta novos dados, processos ou tecnologias.

Finalmente, as auditorias também podem ajudar as organizações a alcançar e comprovar a conformidade regulatória.  

A tecnologia desempenha um papel importante na governança eficaz de dados. As ferramentas de governança de dados Enterprise podem variar de plataformas abrangentes a soluções pontuais especializadas. As organizações escolhem ferramentas diferentes dependendo de suas arquiteturas de dados e frameworks exclusivas.

As funcionalidades comuns das soluções de governança de dados são:

• Descobrir e classificar dados automaticamente.

• Aplicar regras de proteção de dados e controles de acesso baseados em funções.

• Cumprir as exigências de privacidade e conformidade.

• Automação do gerenciamento de metadados, catalogação de dados e rastreamento da linhagem de dados.

• Suporte para glossário de negócios.

As soluções de governança de dados podem lidar com vários formatos de dados. Alguns oferecem recursos de visualização para aprimorar a compreensão de conjuntos e relacionamentos de dados complexos, facilitando a identificação de tendências, valores discrepantes e áreas que exigem atenção.

A implementação de uma forte framework de governança de dados pode ajudar as organizações a terem uma ampla variedade de benefícios:

• Extrair mais valor dos dados corporativos
• Promover inovação e eficiência
• Oferecer uma fonte única de verdade (SSOT)
• Ajudar a garantir privacidade, segurança e conformidade dos dados
• Utilizar dados com segurança para iniciativas de IA
• Ativar análise de dados com maior precisão

As organizações não podem tomar decisões de negócios eficazes se essas decisões forem baseadas em dados falhos. A governança de dados pode ajudar a garantir a integridade, a precisão, integralidade e a consistência dos dados por meio da criação de uma framework compatível com administração de dados robusta e forte processo de gerenciamento de dados de ponta a ponta.

Dados confiáveis ajudam as organizações a descobrir novas oportunidades, conhecer melhor seus clientes e fluxos de trabalho e otimizar o desempenho geral dos negócios.

A falta de governança de dados pode levar a erros nas métricas de desempenho que conduzem uma organização na direção errada, enquanto as ferramentas de governança de dados podem ajudar a lidar com imprecisões antes que elas influenciem a estratégia de negócios.

Por exemplo, ferramentas de linhagem de dados podem ajudar os proprietários de dados a rastrear dados durante seu ciclo de vida, incluindo todas as transformações que os dados tiverem durante os processos de extração, transformação, carregamento (ETL) ou extração, carregamento, transformação (ELT). Isso possibilita que a organização identifique e corrija as causas raiz dos erros de dados.

Se o acesso aos dados for restrito em uma organização, poderá limitar a inovação, criar dependências de especialistas no assunto (SMEs) e retardar os processos de negócios.

Os programas de governança de dados distribuem acesso a dados de forma adequada, concedendo a cada departamento ou indivíduo o acesso somente aos dados de que precisa. Isso possibilita que equipes multifuncionais trabalhem em conjunto de forma mais próxima e eficiente, mantendo os dados seguros. 

Um sistema de dados governados pode apresentar uma fonte única da verdade em toda a organização. A tomada de decisões pode ser melhorada quando todas as partes estiverem trabalhando com os mesmos conjuntos de dados.

A centralização das definições de dados e metadados em um único catálogo de dados pode ajudar a reduzir a confusão e as ineficiências. Essa documentação, por sua vez, torna-se a base para soluções de autoatendimento que possibilitam o acesso consistente a dados e o acesso a dados em toda a organização.

As políticas de governança de dados geralmente incluem operações para atender mais facilmente às regulamentações do governo relacionadas a dados confidenciais e privacidade, como o Regulamento Geral de Proteção de Dados (GDPR) da UE, a Lei de portabilidade e responsabilidade de planos de saúde (HIPAA) dos EUA e as exigências dos setores como os Padrões de Segurança de Dados do Setor de Cartões de Pagamento (PCI DSS). Violações dessas exigências regulatórias podem resultar em multas governamentais caras e reações públicas adversas.

As ferramentas de governança de dados ajudam as organizações a definir proteções que podem evitar violações de dados, vazamentos e uso indevido. Os quadros de governança ajudam a construir sistemas de dados claros, explicáveis, imparciais e inclusivos. Por sua vez, esses sistemas de dados protegem a privacidade e a segurança e mantêm a fidelidade e a confiança dos clientes.

Em uma pesquisa da IDC, apenas 45,3% dos entrevistados afirmaram que tinham "regras, políticas e processos para impor seus princípios de IA responsável" para proteger contra violações de segurança, preocupações com responsabilidade, dados de clientes expostos e risco regulatório.¹

A governança de dados envolve entender a origem, a sensibilidade e o ciclo de vida de todos os dados que uma organização utiliza. Essa é a base para qualquer prática de governança de IA e é crucial para mitigar os vários riscos corporativos.

A governança de dados ajuda as organizações a levar dados de alta qualidade para iniciativas de IA e ML, protegendo esses dados e cumprindo as regras e regulamentações correspondentes. Por exemplo, as ferramentas de governança podem ajudar a garantir que dados pessoais confidenciais não sejam enviadas a uma IA quando não deveriam.

Ter os dados certos é a base para iniciativas avançadas de análise de dados e ciência de dados. Dados governados com cautela possibilitam iniciativas valiosas, como relatórios de business intelligence ou projetos mais complexos de aprendizado de máquina (ML).

Por exemplo, a criação adequada de perfis de dados, avaliando e limpando dados para entender melhor como são estruturados, pode ajudar a entender melhor a relação entre diversos conjuntos e fontes de dados.

Iniciativas de governança de dados podem enfrentar muitos obstáculos na implementação. Alguns desses desafios são:

• Falta de patrocínio adequado
• Arquitetura de dados incoerente
• Visibilidade e controle de dados
• Aumento da demanda por acesso
• Requisitos de dados de IA

Programas eficazes de governança de dados geralmente exigem patrocínio em dois níveis: executivos e colaboradores individuais. Os diretores de dados (CDOs) e os administradores de dados são fundamentais na comunicação e priorização da governança de dados dentro de uma organização.

Os CDOs podem supervisionar e impor a responsabilidade entre as equipes de dados para ajudar a garantir a adoção das políticas de governança de dados. Os administradores de dados podem ajudar a promover a conscientização sobre essas políticas para os produtores e consumidores de dados para incentivar a conformidade em toda a organização. 

Sem o patrocínio adequado, os usuários dos dados podem não estar cientes ou não se preocupar com as políticas de governança. Isso pode resultar em não conformidade, baixa integridade de dados e segurança de dados comprometida.

Sem as ferramentas e a arquitetura de dados corretas, as organizações podem ter dificuldades para implantar um programa eficaz de governança de dados. 

Por exemplo, as equipes podem descobrir dados redundantes em diversas funções. Para permitir uma governança eficaz, os Data Architects precisam desenvolver modelos e arquiteturas de dados apropriados para mesclar e integrar dados nos sistemas de armazenamento.

As equipes também podem ter que adotar um catálogo de dados para criarem um inventário de ativos de dados em uma organização. Ou, se já tiverem um, talvez precisem criar um processo de gerenciamento de metadados, o que ajuda a garantir que os dados subjacentes sejam relevantes e atualizados.

A governança de dados, especialmente em ambientes híbridos e multinuvem, geralmente envolve dados armazenados em vários formatos em diversos provedores e locais. Além disso, os dados podem residir em diversos tipos de armazenamentos de dados, como data lakes, data lakehouses e data warehouses. 

A TI invisível pode trazer impacto adicional ao processo. Em um estudo da TechTarget, o segundo desafio de segurança de dados mais comum relatado foi que os funcionários estavam contratando aplicações e serviços em nuvem sem a aprovação da área de TI.²

Essa distribuição de dados pode dificultar o rastreamento e o monitoramento dos fluxos de dados e do uso de dados. A governança de dados exige uma compreensão clara de fontes, destinos, transformações, dependências, propriedade, direitos de acesso e responsabilidades.

A aplicação de políticas de governança de dados em vários ambientes pode exigir coordenação entre diferentes stakeholders, como proprietários de dados, administradores de dados, consumidores de dados e reguladores de dados.

A ascensão da análise de dados e de business intelligence apresenta novos desafios à governança de dados.

Há solicitações de acesso de mais usuários chegando mais rápido do que antes, mas as equipes de governança precisam equilibrar velocidade e acessibilidade com questões de privacidade e segurança. Além disso,  os sistemas e procedimentos de streaming de dados devem ser ajustados para evitar vazamento de dados.

Enviando os dados que alimentam o treinamento e as operações de IA, muitas ferramentas de armazenamento de dados ficam aquém do esperado.

Afinal, a IA é inerentemente mais complexa do que os processos e recursos padrão mantidos pela TI, o que aumenta a importância da governança de dados ativa e embasada. Um relatório da KPMG destaca a lacuna de governança de IA como um dos principais riscos que ameaçam atualmente as empresas.³ Por exemplo, sem proteções adequadas, a IA pode expor inadvertidamente IIP confidenciais ou segredos corporativos.

Para reduzir os riscos e as complexidades da IA, as organizações podem combinar recursos de armazenamento de dados otimizados para IA com programas de governança de dados desenvolvidos com a IA em mente.

O planejamento e a criação de uma framework de governança de dados exigem tempo e esforço de vários stakeholders e equipes. As práticas comuns que as organizações utilizam na implementação de programas de governança são:

• Automatizar para maior eficiência
• Equilibrar praticidade e segurança de dados
• Criar um catálogo de dados
• Utilizar modelos de maturidade
• Monitorar e aprimorar constantemente

A automatização de determinadas partes do processo de governança de dados pode ajudar a melhorar a eficiência e reduzir erros. As ferramentas de governança de dados e gerenciamento podem ajudar a automatizar tarefas rotineiras como:

• Construção de linhagens de dados para ajudar a visualizar o fluxo de dados pelos sistemas sem a necessidade de soluções complexas programadas manualmente.
  
  
• Propagação de políticas para atribuir tags de metadados a elementos de dados específicos, como colunas ou tabelas, para identificá-los como informações confidenciais.
  
  
• Geração de logs de auditoria para registrar interações de dados para entender como os funcionários utilizam os dados.
  
  
• A classificação de dados é baseada em categorias predefinidas, como PII, dados financeiros, propriedade intelectual ou informações confidenciais.

Fortes controles de segurança e acesso são fundamentais para qualquer framework de governança de dados. Ao mesmo tempo, as organizações querem que o acesso a dados seja o mais simples possível para os autorizados a ver e utilizar conjuntos de dados específicos. Sem esse acesso fácil a informações de autoatendimento, a colaboração e os novos insights são prejudicados.

Muitas organizações lutam para gerenciar seus dados devido à falta de visibilidade. Um catálogo de dados central pode operar como a fonte única da verdade, permitindo a integração de dados e iniciativas de controle.

De acordo com um relatório da Gartner, a demanda por catálogos de dados está aumentando à medida que as organizações lutam para encontrar, inventariar e analisar ativos de dados distribuídos e diversos. Com um catálogo de dados robusto, as organizações podem localizar e classificar informações em escala com mais facilidade, permitindo a melhor aplicação de políticas de governança de dados.

Muitas organizações veem utilidade na criação de um roteiro de governança claro. Os modelos de maturidade podem oferecer esse roteiro.

O modelo de maturidade de governança de dados é uma ferramenta que ajuda as organizações a avaliar o estado atual do programa de governança de dados, definir metas e monitorar o progresso com o passar do tempo.

As organizações podem estabelecer mecanismos regulares de avaliação e geração de relatórios para monitorar dados e métricas de governança com o passar do tempo. Essas avaliações podem ajudar a organização a identificar problemas e fazer melhorias nos processos de governança.

Revisar regularmente o framework e ajustá-lo com base em feedback, novas regulamentações ou mudanças na estratégia de negócios ajuda o framework a permanecer relevante e eficaz.

Além disso, as avaliações podem promover uma cultura que valoriza os dados como um ativo estratégico, apoiando o business intelligence eficaz e o uso de dados em toda a organização.