Enriquecendo os dados
Enriqueça os ativos de dados com informações que ajudem os usuários a encontrar os dados mais rapidamente, a decidir se os dados são apropriados para a tarefa em questão, se podem confiar nos dados e como trabalhar com os dados. Tais informações incluem, por exemplo, termos que definem o significado dos dados, regras que documentam a propriedade ou determinam padrões de qualidade, ou revisões.
- Serviços necessários
IBM watsonx.data intelligence
DataStage para análises avançadas de chaves ou relacionamentos e perfis avançados- Formato de dados
Tabelas de origens de dados relacionais e não relacionais
Delta Lake e Iceberg de determinados conectores de armazenamento de arquivos.
Arquivos carregados a partir do sistema de arquivos local ou de conexões baseadas em arquivos com as fontes de dados, nos seguintes formatos: CSV, TSV, Avro, Parquet, Microsoft Excel (xls, xlsm e xlsx)
Limitações para arquivos carregados a partir do sistema de arquivos local:- Somente a primeira planilha em uma pasta de trabalho é perfilada.
- Você pode executar análises avançadas apenas em arquivos do tipo “ CSV ”.
- Para arquivos do tipo “ CSV ”, execute também a análise de perfil ao realizar verificações de qualidade de dados ou atribuição de termos.
Estes arquivos de dados estruturados não têm o perfil definido:
- Arquivos dentro de um ativo de pasta conectado. Os arquivos que são acessíveis a partir de um ativo de pasta conectado não são tratados como ativos e não são proarquivados.
- Arquivos dentro de um archive, por exemplo, um arquivo .zip O archive é referenciado pelo ativo de dados e os arquivos compactados não têm perfil criado.
É possível enriquecer ativos de dados das origens de dados listadas em Origens de dados suportadas para curadoria e qualidade de dados.
- Tamanho dos dados
Qualquer; conjuntos de dados de conexões baseadas em arquivo não podem ter mais de 4.999 colunas
- Permissões necessárias
Para criar, gerenciar e executar um enriquecimento de metadados, deve-se ter a função Admin ou Editor no projeto e deve-se ter pelo menos acesso de visualização para as categorias que você deseja usar no enriquecimento Além disso, deve-se ter autorização para acessar as conexões com as origens de dados dos ativos de dados a serem enriquecidos.
Se alguma dessas conexões estiver bloqueada, você será solicitado a inserir suas credenciais pessoais. Essa é uma etapa única que desbloqueia permanentemente as conexões para você.
- Credenciais necessárias
Todas as operações executadas como parte de um enriquecimento de metadados exigem credenciais da tarefa para uma autorização segura. Consulte “Gerenciamento de credenciais de tarefas ”.
Os organizadores de dados criam perfis de ativos para entender o significado dos dados e avaliar a qualidade deles. Além disso, eles incluem contexto de negócios para os dados designando termos e identificando relacionamentos entre tabelas O enriquecimento de metadados automatiza esse processo, aumentando assim a produtividade do organizador de dados.
Os dados são úteis apenas se o seu contexto, conteúdo e qualidade são confiáveis. Para mantê-lo dessa forma, os dados devem ser continuamente avaliados e, se necessário, a correção adequada ser tomada. Os stewards de dados podem configurar trabalhos recorrentes para acompanhar continuamente as mudanças no conteúdo e na estrutura dos dados e, em seguida, analisar apenas dados que foram alterados.
As informações incluídas nos ativos por meio do enriquecimento de metadados também ajudam a proteger os dados, pois eles podem ser usados em políticas de proteção de dados para mascarar os dados ou restringir o acesso.
Além disso, os metadados adicionais sobre os ativos ajudam os grandes modelos de linguagem a compreender o conteúdo e a estrutura dos dados quando você usa consultas em linguagem natural para trabalhar com seus dados.
Visão geral de enriquecimento de metadados
O enriquecimento de ativos de dados envolve o processo a seguir:
Identificar os ativos de dados que você deseja enriquecer.
Em um projeto, crie um ativo de enriquecimento de metadados para configurar os detalhes de enriquecimento como o escopo e o objetivo do enriquecimento e o planejamento para a tarefa de enriquecimento.
Executar a tarefa de enriquecimento.
Para cada ativo de dados incluído no enriquecimento, trabalhe com os resultados no ativo de enriquecimento de metadados::
- Identificar anomalias e problemas de qualidade e tomar as medidas adequadas para corrigir quaisquer problemas.
- Revise o conteúdo gerado, como nomes de exibição ou descrições geradas por IA
- Verificar designações de termo, e avaliar e agir em sugestões de termo.
- Gerenciar designações de classe de dados no nível da coluna.
- Gerenciar classificações.
- Identifique e configure chaves e relacionamentos primários.
- Detecte sobreposições ou dados redundantes.
Também é possível acessar os resultados do enriquecimento e trabalhar com eles no perfil de cada ativo individual. Informações detalhadas sobre a qualidade estão disponíveis na guia Qualidade dos dados de um ativo.
Reavalie os ativos em questão.
Publique os ativos de dados com os resultados, conforme necessário.
É possível executar a maioria das tarefas com APIs em vez da UI. Os links para a API IBM Knowledge Catalog estão listados para cada tarefa aplicável.
Enquanto pode-se incluir ativos conectados individuais a um enriquecimento de metadados, o enriquecimento de metadados é destinado a ativos de dados de processamento em massa, incluídos ao projeto por meio de importação de metadados.
Para garantir o uso consistente das opções de enriquecimento, é possível configurar configurações padrão para todos os ativos de enriquecimento de metadados em um projeto. Para abrir a página de configurações, vá para Manage > Metadata enrichment. Como alternativa, você pode abrir um ativo de enriquecimento de metadados já existente e clicar em “Configurações padrão” (
).
Para o gerenciamento da carga de trabalho, a execução de trabalhos de enriquecimento de metadados pode ser restrita a janelas de execução de trabalhos. Um administrador de projeto pode definir essas janelas em Gerenciar > Janelas de execução de trabalho.