Perfis de ativos de dados

Um perfil de ativo inclui metadados gerados e estatísticas sobre o conteúdo do ativo e ajuda a entender quais ações tomar para melhorar a qualidade dos dados. É possível ver o perfil na página Perfil do ativo.

Perfis podem ser criados para ativos de dados que contêm dados relacionais ou estruturados.

Requisitos e restrições

É possível visualizar o perfil dos ativos sob as seguintes circunstâncias:

serviço necessário

A criação de perfis requer o serviço IBM watsonx.data intelligence.

Permissões necessárias

Suas funções determinam como você pode interagir com perfis:

  • Para visualizar esta página, é possível ter qualquer função em um projeto ou catálogo
  • Para criar ou atualizar um perfil ou executar enriquecimento de metadados em um projeto, deve-se ter a função Administrador ou Editor no projeto.
  • Para criar ou atualizar um perfil em um catálogo, deve-se ter a função Admin no catálogo ou a função Editor e deve ser um proprietário do ativo ou um membro do ativo.

Áreas de trabalho

É possível visualizar o perfil do ativo nestas áreas de trabalho:

  • Projetos
  • Catálogos

Tipos de Recursos

Esses tipos de ativos têm um perfil:

  • Ativos de dados de bancos de dados relacionais ou não relacionais de uma conexão com as origens de dados, exceto Cloudant

  • Ativos de dados de conjuntos de dados particionados, em que um conjunto de dados particionados consiste em vários arquivos e é representado por uma única pasta transferida por upload do sistema de arquivos local ou de conexões baseadas em arquivos para as origens de dados

  • Ativos de dados a partir de arquivos transferidos por upload do sistema de arquivos local ou de conexões com base em arquivo para as origens de dados, com estes formatos:

    • CSV
    • XLS, XLSM, XLSX (Apenas a primeira folha em uma pasta de trabalho é proarquivada.)
    • TSV
    • Avro
    • Parquet

    No entanto, não é criado o perfil dos arquivos de dados estruturados quando os ativos de dados não os referenciam explicitamente, como nestas circunstâncias:

    • Os arquivos estão dentro de um ativo de pasta conectado. Os arquivos que são acessíveis a partir de um ativo de pasta conectado não são tratados como ativos e não são proarquivados.
    • Os arquivos estão em um archive, por exemplo, um arquivo .zip. O archive é referenciado pelo ativo de dados e os arquivos compactados não têm perfil criado.

Restrições

Para ativos de visualização Data Virtualization e watsonx.data, todos os usuários têm acesso negado aos resultados da criação de perfil para evitar a exposição acidental de distribuições de valores.

Maneiras de Criar um Perfil

Os perfis de ativos podem ser criados de diferentes maneiras:

  • Em catálogos controlados, os perfis para ativos de dados individuais são criados automaticamente quando os ativos de dados são incluídos no catálogo com estas exceções:

    • Você desativou o perfil automático para o catálogo.
    • O ativo é proveniente de uma conexão configurada para usar credenciais pessoais.
    • O ativo foi perfilado por meio do enriquecimento de metadados antes de ser publicado Tais ativos já possuem um perfil que é adicionado ao catálogo junto com o ativo.

  • Em projetos e em catálogos sem o cumprimento de regra de proteção de dados, é possível criar perfis manualmente para ativos de dados individuais Também é possível criar um perfil manualmente em um catálogo controlado se o ativo não tiver seu perfil definido anteriormente..

  • Em projetos, é possível criar e executar um ativo de enriquecimento de metadados para determinar o perfil de grandes conjuntos de ativos de dados de uma só vez Esses perfis de ativos estão disponíveis para o projeto. É possível publicar os ativos enriquecidos com seus perfis em qualquer tipo de catálogos

Dentro de uma conta, os resultados de criação de perfil são copiados com o ativo de dados quando você publica um ativo de um projeto em um catálogo ou inclui-lo de um catálogo em um projeto No entanto, se o catálogo e o projeto pertencerem a contas diferentes, os perfis não serão copiados porque o conjunto de classes de dados disponíveis pode ser diferente..

É possível atualizar um perfil de ativo individual a partir da página Perfil do ativo em um projeto ou catálogo. Ao fazer a atualização manual de um perfil de um ativo de dados que faz parte de um enriquecimento de metadados, as informações do perfil e da análise também serão refletidas nos respectivos resultados de enriquecimento. Perfis também são atualizados quando novos resultados de enriquecimento são publicados.

Ao atualizar um perfil existente, é possível alterar as classes de dados para incluir no perfil.

O que é analisado durante a criação de perfil

Se você criar ou atualizar um perfil de ativo na página Perfil em um projeto ou catálogo, as colunas serão analisadas.

Quando o perfil de um único ativo é criado em um projeto ou catálogo, o perfil é criado, por padrão, com base nas primeiras 5.000 linhas de dados. Se o ativo de dados tiver mais de 250 colunas, o perfil será criado com base nas primeiras 1.000 linhas de dados. Se o perfil for criado através de enriquecimento de metadados, a amostragem é determinada pelas configurações de enriquecimento de metadados.

Para identificar a estrutura e o conteúdo de seus dados e classificá-los, a análise inclui as seguintes tarefas:

  • Calcular estatísticas sobre os dados de cada coluna analisada.
  • Calcular tipos de dados para distribuição de colunas e tipos de dados.
  • Calcula formatos de dados para colunas e distribuição de formatos.
  • Classificar os dados e os candidatos de classe de dados de cálculo para colunas.
  • Capturar distribuições de frequência.

Informações do Perfil

O perfil de um ativo de dados mostra informações sobre cada coluna no ativo de dados..

A guia Perfil fornece algumas informações gerais e uma visão geral dos resultados da análise:

  • Quando o perfil foi criado ou atualizado pela última vez

  • Quantas colunas e linhas foram analisadas..

  • A classe de dados inferida para cada coluna e a confiança de que essa classe de dados se aplica à coluna como um todo. Para classes de dados atribuídas manualmente, nenhuma confiança é mostrada.

    As classes de dados descrevem os conteúdos dos dados na coluna: por exemplo, cidade, número da conta ou número do cartão de crédito. As classes de dados podem ser usadas para mascarar dados ou restringir o acesso a ativos de dados com regras de proteção de dados. As classes de dados aparecem para cada coluna na página Visão geral do ativo no catálogo e na página Perfil no catálogo ou no projeto.

    Para obter uma visão detalhada dos dados correspondentes, não correspondentes ou ausentes, verifique as informações na página Qualidade dos dados ou no perfil da coluna.

  • A distribuição de frequência para todos os valores identificados em uma coluna.

  • Estatísticas sobre os dados de cada coluna, como o número de valores distintos, a porcentagem de valores exclusivos, mínimo, máximo ou médio e, às vezes o desvio padrão nessa coluna. O número de valores distintos indica quantos valores diferentes existem nos dados de amostra para a coluna A porcentagem de valores exclusivos indica a porcentagem de valores distintos que aparecem apenas uma vez na coluna..

    Dependendo do formato de dados de uma coluna, as estatísticas variam ligeiramente. Por exemplo, as estatísticas para uma coluna de número inteiro de tipo de dados possuem valores mínimo, máximo e médio e um valor de desvio padrão, enquanto as estatísticas para uma coluna de sequência de tipos de dados possuem comprimento mínimo, comprimento máximo e valores de comprimento médio.

Informações mais detalhadas sobre dados da coluna estão disponíveis ao clicar no nome da coluna.

O perfil de ativo mais recente é retido e mostrado enquanto o ativo de dados existe no catálogo ou no projeto, mesmo se os dados originais na origem de dados estiverem temporariamente ou permanentemente indisponíveis.. Para remover as informações de perfil, você tem estas opções:

  • É possível excluir manualmente o perfil na página Perfil .. Essa opção não estará disponível, se o ativo estiver sujeito a quaisquer regras de proteção de dados
  • É possível excluir manualmente o ativo de dados do projeto ou catálogo.
  • Se o ativo foi incluído por meio da importação de metadados, será possível executar novamente a importação de metadados com a opção Excluir na reimportação apropriada configurada.

Saiba Mais