Governança de dados é a disciplina de gerenciamento de dados que se concentra na qualidade, segurança e disponibilidade dos dados de uma organização. A governança de dados ajuda a garantir a integridade e a segurança dos dados ao definir e implementar políticas, padrões e procedimentos para coleta, propriedade, armazenamento, processamento e uso de dados.
O objetivo da governança de dados é manter dados seguros e de alta qualidade facilmente acessíveis para descoberta de dados, iniciativas de business intelligence e esforços de IA. Atuando como um hub de controle de tráfego aéreo, a função de governança de dados ajuda a garantir que os dados verificados fluam por meio de pipelines seguros para endpoints e usuários confiáveis.
Inteligência artificial (IA), big data e transformação digital são os principais motivadores dos programas de governança de dados. À medida que o volume de dados aumenta a partir de novas fontes de dados, como as tecnologias de Internet das Coisas (IoT), as organizações estão reconsiderando suas práticas de gerenciamento de dados e princípios de governança de dados. Adotar as práticas e os princípios corretos pode ajudar as organizações a expandir seus esforços em business intelligence (BI) e a tomar decisões mais bem fundamentadas.
Os rápidos desenvolvimentos na IA empresarial também exigiram novas estratégias de governança de dados. Cada vez mais, os programas de governança devem considerar os dados estruturados e não estruturados que servem como inputs ou produções de sistemas RAG, bancos de dados de vetores e agentes de IA.
Programas robustos de governança de dados podem ajudar as organizações a proteger e gerenciar grandes quantidades de dados, melhorando a qualidade dos dados, reduzindo silos de dados, aplicando políticas de conformidade e segurança e distribuindo o acesso aos dados de maneira apropriada.
A governança de dados é um subconjunto do gerenciamento de dados, a prática abrangente de coletar, processar e utilizar dados de forma segura e eficiente para apoiar a tomada de decisões estratégicas e melhorar os resultados comerciais.
Embora o gerenciamento de dados inclua a governança de dados, ele também abrange outras áreas do ciclo de vida dos dados, como o processamento de dados, o armazenamento de dados e a segurança de dados. Além disso, os vários aspectos do processo de gerenciamento de dados influenciam-se mutuamente.
Como essas outras áreas do gerenciamento de dados podem impactar a governança de dados, várias equipes devem trabalhar juntas para projetar e seguir uma estratégia de governança de dados.
Por exemplo, uma equipe de governança de dados pode identificar semelhanças em conjuntos de dados díspares. Se eles quiserem integrar esses dados, geralmente trabalharão com uma equipe de gerenciamento de dados para definir o modelo de dados e a arquitetura de dados para facilitar essas ligações.Diferentes estratégias podem ser apropriadas para dados na nuvem versus dados armazenados no local.
Outro exemplo é o acesso a dados, onde uma equipe de governança de dados pode definir políticas relativas ao acesso a tipos específicos de dados, como informações de identificação pessoal (PII). Em seguida, uma equipe de gerenciamento de dados dará esse acesso diretamente ou criará o mecanismo para dar esse acesso, geralmente por meio de controle de acesso baseado em função (RBAC). Conseguir as permissões de acesso corretas é ainda mais importante em uma era em que cada vez mais um agente de IA, em vez de um funcionário humano, está acessando os dados.
Mantenha-se atualizado sobre as tendências mais importantes (e intrigantes) do setor em IA, automação, dados e muito mais com o boletim informativo Think. Consulte a Declaração de privacidade da IBM.
Um framework de governança de dados detalha as estruturas e os processos de uma organização para gerenciar ativos de dados críticos. Ele define a propriedade e as responsabilidades dos dados e especifica como os dados devem ser tratados para manter os padrões de qualidade, segurança e conformidade dos dados.
Não existe um framework único que sirva para todos, pois frameworks são normalmente roteiros personalizados para os sistemas de dados, fontes de dados, protocolos do setor e regulamentações governamentais específicas de cada organização. E frameworks antigos podem ficar obsoletos rapidamente. Os frameworks devem levar cada vez mais em conta a IA, sistemas multinuvem e ambientes de dados de movimentação mais rápida.
As estruturas de governança de dados geralmente lidam com itens como:
Os programas de governança de dados normalmente definem uma meta específica ou um conjunto de metas, como aprimorar a qualidade de dados, apoiar a conformidade ou possibilitar a tomada de decisões baseada em dados. Eles também selecionam métricas para medir o progresso em direção a essas metas. As principais métricas de governança podem incluir:
Reduções nos erros e redundância de dados.
Reduções de custo decorrentes de maior eficiência e tempo mais rápido de colocação no mercado.
Consistência e integridade dos dados.
O nível de alfabetização de dados e conformidade com processos dos funcionários.
Os programas de governança também definem as funções e responsabilidades de todos os envolvidos: comitê de direção, proprietários de dados, administradores de dados e stakeholders.
Os frameworks de governança definem parâmetros para os dados a serem governados e aos resultados desejados. Este processo inclui a definição de diretrizes para formatos de dados, modelos de dados, gerenciamento de dados mestres (MDM), metadados, convenções de nomenclatura e muito mais.
Os frameworks de governança geralmente mapeiam fluxos de dados e definem como os dados serão coletados, armazenados, migrados e arquivados. Eles também podem identificar o hardware, o software e os serviços que apoiarão os esforços de governança e a arquitetura de dados mais ampla da organização.
Alguns frameworks de governança podem definir escopos de dados, que são parâmetros de acesso para ativos de dados específicos, como dados mestre, metadados e dados históricos. Um escopo de dados pode ajudar a garantir que os usuários e aplicações tenham acesso somente aos dados de que precisam e que ninguém tenha acesso aos dados que não deveriam.
Os frameworks de governança descrevem procedimentos de teste, auditoria e manutenção de registros para manter a transparência e explicabilidade do programa de governança.
Auditorias regulares ou contínuas podem ajudar a verificar em tempo real se os usuários estão em conformidade com o framework de governança de dados. As auditorias também podem ajudar a identificar maneiras pelas quais o programa de governança deve evoluir para levar em conta novos dados, processos ou tecnologias.
Por fim, as auditorias também podem ajudar as organizações a alcançar (e comprovar) a conformidade regulatória.
A tecnologia desempenha um papel importante na governança eficaz de dados. As ferramentas de governança de dados Enterprise podem variar de plataformas abrangentes a soluções pontuais especializadas. As organizações escolhem ferramentas diferentes dependendo de suas arquiteturas de dados e frameworks exclusivas.
As funcionalidades comuns das soluções de governança de dados são:
Descoberta de dados e classificação automáticas.
Aplicação de regras de proteção de dados e controles de acesso baseados em funções.
Cumprir as exigências de privacidade e conformidade.
Automação do gerenciamento de metadados, catalogação de dados e rastreamento da linhagem de dados.
Suporte para glossário de negócios.
As soluções de governança de dados podem lidar com vários formatos de dados. Algumas oferecem recursos de visualização para aprimorar a compreensão de conjuntos e relações de dados complexos, facilitando a identificação de tendências, valores discrepantes e áreas que exigem atenção. Cada vez mais, as soluções de governança de dados podem ajudar a governar os dados usados em pipelines de IA.
A implementação de uma forte framework de governança de dados pode ajudar as organizações a terem uma ampla variedade de benefícios:
As organizações não podem tomar decisões de negócios eficazes se essas decisões forem baseadas em dados falhos. A governança de dados pode ajudar a garantir a integridade, a precisão, integralidade e a consistência dos dados por meio da criação de uma framework compatível com administração de dados robusta e forte processo de gerenciamento de dados de ponta a ponta.
Dados confiáveis ajudam as organizações a descobrir novas oportunidades, conhecer melhor seus clientes e fluxos de trabalho e otimizar o desempenho geral dos negócios.
A falta de governança de dados pode levar a erros nas métricas de desempenho, orientando a organização na direção errada. Enquanto isso, as ferramentas de governança de dados podem ajudar a resolver imprecisões antes que elas influenciem a estratégia de negócios.
Por exemplo, ferramentas de linhagem de dados podem ajudar os proprietários de dados a rastrear os dados durante seu ciclo de vida, incluindo quaisquer transformações que os dados experimentam durante os processos de extração, transformação, carregamento (ETL) ou extração, carregamento, transformação (ELT). Essa funcionalidade permite que as organizações identifiquem e corrijam as causas raiz dos erros de dados.
Se o acesso aos dados for restrito em uma organização, poderá limitar a inovação, criar dependências de especialistas no assunto (SMEs) e retardar os processos de negócios.
Programas de governança de dados distribuem o acesso aos dados de forma adequada, concedendo a cada departamento ou indivíduo acesso apenas aos dados de que precisam. Esse processo permite que equipes multifuncionais trabalhem juntas de forma mais próxima e eficiente, mantendo os dados seguros.
Um sistema de dados governados pode apresentar uma fonte única da verdade em toda a organização. A tomada de decisões pode ser melhorada quando todas as partes estiverem trabalhando com os mesmos conjuntos de dados.
A centralização das definições de dados e metadados em um único catálogo de dados pode ajudar a reduzir a confusão e as ineficiências. Essa documentação, por sua vez, torna-se a base para soluções de autoatendimento que possibilitam o acesso consistente a dados e o acesso a dados em toda a organização.
As políticas de governança de dados geralmente incluem operações para atender mais facilmente às regulamentações do governo relacionadas a dados confidenciais e privacidade, como o Regulamento Geral de Proteção de Dados (GDPR) da UE, a Lei de portabilidade e responsabilidade de planos de saúde (HIPAA) dos EUA e as exigências dos setores como os Padrões de Segurança de Dados do Setor de Cartões de Pagamento (PCI DSS). Nos últimos anos também houve o advento da regulamentação focada em IA com componentes de dados. exemplos incluem a Lei de IA da UE, a Lei de Dados da UE e a DORA. A violação dessas exigências regulamentares pode resultar em multas elevadas por parte do governo e em forte reação negativa da população.
As ferramentas de governança de dados ajudam as organizações a definir proteções que podem evitar violações de dados, vazamentos e uso indevido. Os quadros de governança ajudam a construir sistemas de dados claros, explicáveis, imparciais e inclusivos. Por sua vez, esses sistemas de dados protegem a privacidade e a segurança e mantêm a fidelidade e a confiança dos clientes.
Em uma pesquisa da IDC, apenas 45,3% dos entrevistados disseram que tinham regras e processos para fazer cumprir os princípios da IA responsável para proteger contra a violação de segurança, preocupações de responsabilidade e risco regulatório.1
A governança de dados envolve entender a origem, a sensibilidade e o ciclo de vida de todos os dados que uma organização utiliza. Esse entendimento é a base para qualquer prática de governança de IA e é crucial para mitigar os vários riscos corporativos.
A governança de dados ajuda as organizações a levar dados de alta qualidade para iniciativas de IA e ML, protegendo esses dados e cumprindo as regras e regulamentações correspondentes. Por exemplo, as ferramentas de governança podem ajudar a garantir que dados pessoais confidenciais não sejam enviadas a uma IA quando não deveriam.
Ter os dados certos é a base para iniciativas avançadas de análise de dados e ciência de dados. Dados governados com cautela possibilitam iniciativas valiosas, como relatórios de business intelligence ou projetos mais complexos de aprendizado de máquina (ML).
Por exemplo, a criação adequada de perfis de dados, avaliando e limpando dados para entender melhor como são estruturados, pode ajudar a entender melhor a relação entre diversos conjuntos e fontes de dados.
Iniciativas de governança de dados podem enfrentar muitos obstáculos na implementação. Alguns desses desafios são:
Programas eficazes de governança de dados geralmente exigem patrocínio em dois níveis: executivos e colaboradores individuais. Os diretores de dados (CDOs) e os administradores de dados são fundamentais na comunicação e priorização da governança de dados dentro de uma organização.
Os CDOs podem supervisionar e impor a responsabilidade entre as equipes de dados para ajudar a garantir a adoção das políticas de governança de dados. Os administradores de dados podem ajudar a promover a conscientização sobre essas políticas para os produtores e consumidores de dados para incentivar a conformidade em toda a organização.
Sem o patrocínio adequado, os usuários dos dados podem não estar cientes ou não se preocupar com as políticas de governança. Essa situação pode levar à não conformidade, baixa integridade de dados e segurança de dados comprometida.
Sem as ferramentas corretas e a arquitetura de dados adequada, as organizações podem ter dificuldades para implementar um programa eficaz de governança de dados.
Por exemplo, as equipes podem descobrir dados redundantes em diversas funções. Para permitir uma governança eficaz, os Data Architects precisam desenvolver modelos e arquiteturas de dados apropriados para mesclar e integrar dados nos sistemas de armazenamento.
As equipes também podem ter que adotar um catálogo de dados para criarem um inventário de ativos de dados em uma organização. Ou, se já tiverem um, talvez precisem criar um processo de gerenciamento de metadados, o que ajuda a garantir que os dados subjacentes sejam relevantes e atualizados.
A governança de dados, especialmente em ambientes híbridos e multinuvem, geralmente envolve dados armazenados em vários formatos em diversos provedores e locais. Além disso, os dados podem residir em diferentes tipos de armazenamentos de dados, como data lakes, data lakehouses e data warehouses.
A TI invisível pode trazer impacto adicional ao processo. Em um estudo da TechTarget, o segundo desafio de segurança de dados mais comum relatado foi que os funcionários estavam contratando aplicações e serviços em nuvem sem a aprovação da área de TI.2
Essa distribuição de dados pode dificultar o rastreamento e o monitoramento dos fluxos de dados e do uso de dados. A governança de dados exige uma compreensão clara de fontes, destinos, transformações, dependências, propriedade, direitos de acesso e responsabilidades.
A aplicação de políticas de governança de dados em vários ambientes pode exigir coordenação entre diferentes stakeholders, como proprietários de dados, administradores de dados, consumidores de dados e reguladores de dados.
A ascensão da análise de dados e de business intelligence apresenta novos desafios à governança de dados.
Há solicitações de acesso de mais usuários chegando mais rápido do que antes, mas as equipes de governança precisam equilibrar velocidade e acessibilidade com questões de privacidade e segurança. Além disso, os sistemas e procedimentos de streaming de dados devem ser ajustados para evitar vazamento de dados.
Enviando os dados que alimentam o treinamento e as operações de IA, muitas ferramentas de armazenamento de dados ficam aquém do esperado.
Afinal, a IA é inerentemente mais complexa do que os processos e recursos padrão mantidos pela TI, o que aumenta a importância da governança de dados ativa e embasada. Um relatório da KPMG destaca a lacuna de governança de IA como um dos principais riscos que ameaçam atualmente as empresas.3Por exemplo, sem proteções adequadas, a IA pode expor inadvertidamente PII confidenciais ou segredos corporativos.Essas exposições podem ser ainda mais caras em uma era de crescente regulamentação relacionada à IA (como a Lei de IA da UE, adotada em junho de 2024).
Para reduzir os riscos e as complexidades da IA, as organizações podem combinar recursos de armazenamento de dados otimizados para IA com programas de governança de dados desenvolvidos com a IA em mente.
O planejamento e a criação de uma framework de governança de dados exigem tempo e esforço de vários stakeholders e equipes. As práticas comuns que as organizações utilizam na implementação de programas de governança são:
A automatização de determinadas partes do processo de governança de dados pode ajudar a melhorar a eficiência e reduzir erros. As ferramentas de governança de dados e gerenciamento podem ajudar a automatizar tarefas rotineiras como:
A classificação de dados é baseada em categorias predefinidas, como PII, dados financeiros, propriedade intelectual ou informações confidenciais.
Fortes controles de segurança e acesso são fundamentais para qualquer framework de governança de dados.Ao mesmo tempo, as organizações querem que o acesso a dados seja o mais simples possível para os usuários com autorização para ver e usar conjuntos de dados específicos. Sem esse acesso fácil a informações de autoatendimento, a colaboração e os novos insights são prejudicados.
Muitas organizações lutam para gerenciar seus dados devido à falta de visibilidade. Um catálogo de dados central pode operar como a fonte única da verdade, permitindo a integração de dados e iniciativas de controle.
De acordo com um relatório da Gartner, a demanda por catálogos de dados está aumentando à medida que as organizações lutam para encontrar, inventariar e analisar ativos de dados distribuídos e diversos.Com um catálogo de dados robusto, as organizações podem localizar e classificar informações em escala com mais facilidade, permitindo a melhor aplicação de políticas de governança de dados.
Muitas organizações veem utilidade na criação de um roteiro de governança claro. Os modelos de maturidade podem oferecer esse roteiro.
O modelo de maturidade de governança de dados é uma ferramenta que ajuda as organizações a avaliar o estado atual do programa de governança de dados, definir metas e monitorar o progresso com o passar do tempo.
As organizações podem estabelecer mecanismos regulares de avaliação e geração de relatórios para monitorar dados e métricas de governança com o passar do tempo. Essas avaliações podem ajudar a organização a identificar problemas e fazer melhorias nos processos de governança.
Revisar regularmente o framework e ajustá-lo com base em feedback, novas regulamentações ou mudanças na estratégia de negócios ajuda o framework a permanecer relevante e eficaz.
Além disso, avaliações podem fomentar uma cultura que valorize os dados como um ativo estratégico, apoiando um business intelligence eficaz e o uso diário de dados em toda a organização.
Operacionalize IA confiável monitorando modelos, gerenciando riscos e aplicando a governança durante o ciclo de vida da sua IA.
Assuma o controle dos seus dados com ferramentas de governança que melhoram a qualidade, garantem a conformidade e possibilitam análise de dados e IA.
Estabeleça práticas de IA responsáveis com orientação de especialista para gerenciar riscos, atender às regulamentações e operacionalizar IA confiável em escala.
1 IDC MarketScape: Plataformas de Governança de IA Mundiais 2023 Avaliação de Fornecedores.IDC. 2023.
2 The Need for Data Compliance in Today's Cloud Era, Enterprise Strategy Group de TechTarget, abril de 2023. (PDF).
3 Top risk forecast, KPMG, 2024.
