Controle de dados
A governança de dados é o processo de rastreamento e controle de ativos de dados com base em metadados de ativos. Os catálogos são espaços de trabalho onde você fornece acesso controlado a ativos governados.
- Serviço necessário
- IBM watsonx.data intelligence
Um catálogo contém ativos e colaboradores. Os colaboradores são as pessoas que agregam ativos no catálogo e as pessoas que precisam utilizar os ativos. É possível customizar a governança de dados para enriquecer e controlar ativos de dados em catálogos.
Saiba mais sobre a governança ou seja iniciado com catálogos e governança:
Abordagens de governança de dados
É possível configurar a governança de dados de maneira iterativa. Você pode começar com uma implementação simples de governança de dados que conta com artefatos predefinidos e recursos padrão. Depois, como suas necessidades mudam, você pode customizar seu framework de governança de dados para descrever melhor e proteger seus ativos de dados.
Para ver as ferramentas que podem ser usadas para controlar dados, abra o mapa de ferramentas e de serviços e clique em Controle na seção de tarefas
Implementação mais simples da governança de dados
Você usa um catálogo para compartilhar ativos em toda a sua organização. Um catálogo pode atuar como uma loja de recursos contendo conjuntos de dados com colunas que são usadas como recursos (entradas) em modelos de aprendizado de máquina. Um administrador do IBM watsonx.data intelligence cria o catálogo para compartilhar ativos e adiciona engenheiros de dados, cientistas de dados e analistas de negócios como colaboradores. Os colaboradores do catálogo podem trabalhar com ativos do catálogo copiando-os em projetos e podem publicar ativos que eles criam em projetos no catálogo..
Os colaboradores do Catálogo podem adicionar ativos no catálogo para compartilhar com outros ou localizar e usar ativos das seguintes formas:
- Engenheiros de dados criam dados limpos, dados virtualizados e ativos de dados integrados em projetos e, em seguida, publicam os ativos no catálogo.
- Os engenheiros de dados importam tabelas ou arquivos de uma origem de dados no catálogo.
- Cientistas de dados e analistas de negócios localizam ativos de dados em catálogos e, em seguida, incluem os ativos em projetos para trabalhar com os dados.
Os ativos de dados acumulam metadados ao longo do tempo das seguintes formas:
- Os ativos de dados têm o perfil definido, que designa automaticamente as classes de dados predefinidas que descrevem o formato dos dados
- Os colaboradores do Catálogo adicionam tags, termos de negócios predefinidos, classes de dados e classificações, relacionamentos e classificações para ativos.
- Todas as ações em ativos são automaticamente salvas na história do ativo.
Consulte Criando um catálogo.
Opções de customização para governança de dados
É possível incluir ou atualizar qualquer uma das opções customizadas na implementação de controle de dados a qualquer momento. Sua equipe de controle pode estabelecer seu léxico de negócios, importar e enriquecer dados com seu vocabulário, analisar a qualidade de dados, definir regras para proteger dados e, em seguida, publicar os ativos de dados em um catálogo no qual os consumidores de dados podem localizá-los, Quando suas alterações de dados, você pode reimportar metadados sobre as tabelas ou arquivos e enriquecer seus ativos de dados com o seu vocabulário de negócios e análise de qualidade de dados. Você pode criar regras cada vez mais precisas para proteger os dados à medida que você expande o seu vocabulário de negócios. Ao longo do ciclo de governança de dados, seus cientistas de dados e outros consumidores de dados podem encontrar dados confiáveis em catálogos. A ilustração a seguir mostra como a governança de dados é um ciclo contínuo de atualização dos metadados para ativos de dados para refletir mudanças nos dados e mudanças em seu vocabulário de negócios.
Estabeleça seu vocabulário de negócios
- Sua equipe de governança pode estabelecer um vocabulário de negócios que descredencie o significado de dados com termos de negócios e o formato de dados com classes de dados. Um vocabulário de negócios ajuda os seus usuários de negócios a encontrar mais facilmente o que eles estão procurando usando termos não técnicos.
- Sua equipe pode estabelecer rapidamente seu vocabulário de negócios, importando seu vocabulário de negócios existente ou importando Knowledge Accelerators que proporcionam entre dezenas a milhares de artefatos de governança.
- O administrador do IBM watsonx.data intelligence pode personalizar o fluxo de trabalho, a organização, as propriedades e os relacionamentos dos artefatos de governança.
Consulte Planejamento para implementar um framework de governança.
Importe e enriqueça ativos de dados com seu vocabulário de negócios
- Os stewards de dados podem executar regularmente empregos de importação e enriquecimento de metadados que atualizam o catálogo com alterações em tabelas ou arquivos de suas fontes de dados e atribuem automaticamente os termos e classes de dados apropriados.
- Quando sua equipe inclui artefatos de governança, os empregos de enriquecimento de metadados sugerem os novos artefatos para os ativos de dados novos ou atualizados.
- Quando os stewards de dados confirmam ou ajustam designações de termo de negócios durante o enriquecimento de metadados, os algoritmos de aprendizado de máquina para atribuição de termo tornam-se mais precisos para seus dados.
- Os stewards de dados podem configurar a importação de metadados e o enriquecimento para executar apenas quando as mudanças forem detectadas.
- Você pode importar a linhagem para ativos de dados.
- Você pode usar recursos de enriquecimento baseados em IA gen para gerar nomes descritivos de ativos e colunas, para gerar descrições significativas para ativos e colunas e para gerar ou atribuir termos comerciais.
Veja Planejamento para curar ativos de dados para compartilhar em catálogos.
Analisar qualidade de dados
- Os administradores de dados podem analisar a qualidade dos dados durante o enriquecimento dos metadados. Após a identificação das verificações relevantes de qualidade dos dados, a análise da qualidade dos dados é aplicada a cada ativo como um todo e às colunas das tabelas com base nas verificações identificadas.
- Os organizadores de dados podem criar definições de qualidade de dados customizados e aplicá-las em regras de qualidade de dados ou aplicar regras de qualidade de dados baseadas em SQL.
Veja Planejamento para curar ativos de dados para compartilhar em catálogos.
Proteja seus dados com regras
- Sua equipe de controle pode criar um plano para regras de proteção de dados escrevendo políticas que documentam os padrões e diretrizes de sua organização para proteger e gerenciar dados. Por exemplo, uma política pode descrever um regulamento específico e como uma regra de proteção de dados assegura a conformidade com esse regulamento
- Sua equipe de governança pode criar regras de proteção de dados que definem como manter as informações privadas privadas. As regras de proteção de dados são automaticamente avaliadas para aplicação toda vez que um usuário tentar acessar um ativo de dados em qualquer catálogo governado na plataforma. As regras de proteção de dados podem definir como controlar o acesso a dados, mascarar valores sensíveis, ou filtrar linhas de ativos de dados.
- Sua equipe pode começar com regras de proteção de dados que são baseadas em tags customizadas, usuários ou classes de dados predefinidas, termos de negócios e classificações. Quando sua equipe de governança adiciona artefatos de governança, a equipe pode definir regras de proteção de dados com base em seu vocabulário de negócios.
- Os engenheiros de dados podem impor regras de proteção de dados em dados virtualizados.
- Os engenheiros de dados podem mascarar permanentemente dados em ativos de dados com fluxos de masking.
Introdução ao site IBM watsonx.data intelligence
As tarefas para começar a usar o site IBM watsonx.data intelligence dependem de seu objetivo. As ações que você pode executar são definidas por suas funções de acesso ao serviço Cloud Pak for Data. Algumas ações também possuem requisitos de função de área de trabalho, como ser um colaborador em um catálogo ou categoria.
Para verificar suas funções de acesso ao serviço, consulte Determinando sua conta IBM Cloud e funções de acesso ao serviço. Para entender suas funções no IBM watsonx.data intelligence, consulte funções e permissões de usuário.
A tabela a seguir mostra objetivos comuns, os papéis de acesso de serviços Cloud Pak for Data necessários e links para informações para que você tenha iniciado.
| Objetivo | Função de acesso ao serviço Cloud Pak for Data | Mais informações |
|---|---|---|
| Configurar ou administrar o site IBM watsonx.data intelligence | Gerenciador | - Planejando a implementação da governança de dados - Configurando IBM watsonx.data intelligence - Gerenciando IBM watsonx.data intelligence |
| Encontre ativos ou recursos em um catálogo | Qualquer função | • Encontrando ativos em um catálogo • Pesquisando por ativos em toda a plataforma • Adicionando um ativo de catálogo a um projeto |
| Curar dados | CloudPak Data Steward ou CloudPak Data Engineer |
• Curando dados • Planejamento de curadoria de dados |
| Gerenciar a qualidade dos dados | CloudPak Data Steward ou CloudPak Data Engineer |
Gerenciando a qualidade de dados |
| Criar artefatos de controle | CloudPak Data Steward ou CloudPak Data Engineer |
• Gerenciando artefatos de governança • Importando Knowledge Accelerators • Planejamento para implementar um framework de governança |
| Criar regras de proteção de dados | CloudPak Data Steward ou CloudPak Data Engineer |
• Regras de proteção de dados • Planejamento para proteger dados com regras |
| Execute IBM watsonx.data intelligence APIs | A mesma função para executar a tarefa na UI. | - API IBM Knowledge Catalog |
| Gerar relatórios em IBM watsonx.data intelligence | Administrador de relatórios | • Configurando o relatório |