Conectores compatíveis para descoberta, enriquecimento e qualidade dos dados

Permissões necessárias

Os usuários devem estar autorizados a acessar as conexões com as fontes de dados. Para importar metadados, o usuário que executa a importação deve ter a permissão SELECT ou uma permissão semelhante nos bancos de dados em questão.

Pré-requisitos gerais

Os ativos de conexão devem existir no projeto para conexões que são usadas nestes casos:

• Para executar o enriquecimento de metadados, incluindo análises avançadas (análise aprofundada da chave primária, análise aprofundada das relações ou criação avançada de perfis de dados) sobre ativos em um enriquecimento de metadados
• Para executar regras de qualidade de dados
• Para criar ativos de dados baseados em consultas ( visualizações dinâmicas )
• Para escrever resultados de verificações de qualidade de dados ou tabelas de distribuição de frequência

Formatos de dados de origem suportados

Em geral, a importação de metadados, o enriquecimento de metadados e as regras de qualidade de dados suportam os seguintes formatos de dados:

• Todas: Tabelas de fontes de dados relacionais e não relacionais

  Delta Lake e formato de tabela Iceberg para determinados conectores de armazenamento de arquivos. Para que as análises funcionem conforme o esperado, importe arquivos específicos em vez de diretórios de nível superior:

  • Para tabelas Delta Lake, importe _delta_log os arquivos.
  • Para tabelas Iceberg, importe metadata/version-hint.text os arquivos.

• Metadata import : Qualquer formato, desde conexões baseadas em arquivos com as fontes de dados, Avro em conexões de transmissão de eventos e formatos específicos de ferramentas em conexões com ferramentas externas. Para pastas de trabalho do Microsoft Excel, cada planilha é importada como um recurso de dados separado. O nome do recurso de dados é igual ao nome da planilha do Excel.

• Enriquecimento de metadados: Tabular: CSV, TSV, Avro, Parquet, Microsoft
  ExcelLimitações para arquivos carregados do sistema de arquivos local:

  • Apenas a primeira folha de uma pasta de trabalho é perfilada.
  • Você pode executar análises avançadas apenas em arquivos CSV.
  • Para arquivos CSV, execute também a criação de perfis ao executar verificações de qualidade de dados ou atribuição de termos.

• Regras de qualidade dos dados: Tabular: Avro, CSV, Parquet, ORC; para ativos de dados carregados a partir do sistema de arquivos local, apenas CSV

Suporte de banco de dados para tabelas de saída de análise

Em geral, tabelas de saída com resultados de análises de qualidade de dados executadas como parte do enriquecimento de metadados, criação de perfis avançados ou execução de regras de qualidade de dados podem ser gravadas nessas bases de dados:

• IBM Db2
• IBM Db2 on Cloud
• Banco de Dados SQL do Microsoft Azure
• Microsoft SQL Server
• Oracle
• PostgreSQL

Se um conector de banco de dados específico também suportar tabelas de saída, a coluna Destino para tabelas de saída exibirá uma marca de seleção.

Processamento de dados em fluxo contínuo

Os dados de fluxo são processados da seguinte forma:

• Metadata import o: Todo o tópico “ Kafka ” é lido e um ativo em formato tabular é criado no projeto ou no catálogo. Na repetição, o tópico inteiro é lido novamente.

• Enriquecimento de metadados: Na execução inicial do enriquecimento, a criação de perfis, a geração de verificações de qualidade dos dados e a análise da qualidade dos dados são realizadas em todos os registros do tópico. Por padrão, apenas os registros recém-adicionados são analisados nas execuções subsequentes. Para garantir que todo o tópico seja sempre analisado, você pode desativar a análise incremental nas configurações do projeto para o enriquecimento de metadados. Consulte as configurações padrão para o enriquecimento de metadados.

  Análises avançadas, como a criação de perfis avançados ou a análise aprofundada de palavras-chave, são sempre realizadas em todo o tópico.

  Resultados da análise incremental:

  • A página Perfil exibe os resultados relativos ao número de registros da janela atual.

  • A página “Qualidade dos dados” sempre exibe a contagem agregada de registros, juntamente com os problemas consolidados e a pontuação correspondente a essa contagem. Essa contagem de registros e essas informações sobre problemas não são alteradas quando os registros são excluídos do tópico “ Kafka ”, o que resulta em uma discrepância entre a contagem de registros na página “Qualidade dos dados” e a contagem real de registros no tópico.

    Além disso, se forem adicionadas verificações de qualidade dos dados, a contagem de registros começa a partir da janela em que essas verificações são aplicadas pela primeira vez.

    Importante:

    Tenha em mente as seguintes informações sobre novas execuções de enriquecimento:

    • Se você alterar a configuração do projeto entre execuções de análise — seja para desativar ou ativar a análise incremental —, as contagens de registros de um ativo analisado anteriormente ficarão fora de sincronia. O histórico de processamento ou os pontos de verificação não são rastreados. Portanto, não é possível determinar quantos registros já foram processados com o tipo de análise utilizado em execuções anteriores.

    • Se você executar novamente o enriquecimento de metadados com a criação de perfis e verificações de qualidade de dados ativadas e o número de registros da janela de análise atual for 0, as verificações poderão ser removidas e as informações na página “Qualidade dos Dados” sobre as verificações aplicadas anteriormente poderão ser apagadas.

      Como prática recomendada, atualize o enriquecimento de metadados para que seja executado sem a geração de verificações de qualidade de dados depois de analisar as verificações detectadas e constatar que elas atendem aos seus requisitos de qualidade de dados. As etapas subsequentes de enriquecimento utilizam, então, as verificações existentes para a análise da qualidade dos dados.

• Regras de qualidade de dados: Após a execução inicial, as novas execuções de uma verificação de qualidade de dados avaliam apenas os registros que foram adicionados ao ativo após a última execução.

  Quando uma regra é criada para um ativo de dados em fluxo, a consumer_group_name propriedade da conexão é automaticamente definida como DataQualityRule_<RuleId>. Esse grupo fixo de consumidores resulta em um processamento incremental dos registros. É possível alterar o comportamento de quaisquer regras que utilizem a mesma conexão Kafka em um projeto específico para que sempre analisem todos os registros no tópico Kafka. Use a API a seguir:

  PATCH /data_quality/v3/projects/{project_id}/settings
  

  O corpo da solicitação deve ter a seguinte aparência:

  [
    {
      "op": "replace",
      "path": "connection_configurations",
      "value": [
        {
          "connection": {
            "id": "<connection_id>"
          },
          "source": {
            "properties": {
              "consumer_group_name": "DataQualityRule_#DSJobRunId#"
            }
          }
        }
      ]
    }
  ]
  

  A #DSJobRunId# parte do nome do grupo de consumidores garante que um novo grupo de consumidores seja gerado a cada execução da regra, de modo que todos os registros sejam lidos novamente a cada execução. Para voltar ao comportamento de análise incremental, atualize as configurações do projeto novamente removendo a consumer_group_name propriedade, o que fará com que a configuração padrão do grupo de consumidores seja utilizada.

  Resultados da análise incremental:

  • O histórico de cada execução mostra a contagem de registros da janela correspondente como o número de registros testados e os números correspondentes de registros que atenderam ou não aos critérios da regra.
  • A página “Qualidade dos dados” sempre exibe a contagem agregada de registros, juntamente com os problemas consolidados e a pontuação correspondente a essa contagem. Essa contagem de registros e essas informações sobre problemas não são alteradas quando os registros são excluídos do tópico “ Kafka ”, o que resulta em uma discrepância entre a contagem de registros na página “Qualidade dos dados” e a contagem real de registros no tópico.

  Se você configurar uma tabela de saída para regras de qualidade de dados, certifique-se de usar o método de atualização adequado para seus objetivos. Para obter mais informações, consulte “Configurando as opções de saída para regras de qualidade de dados ”.

• Análise de perfil na guia “Perfil” de um ativo: a análise de perfil é sempre executada em todos os registros. Não é realizada nenhuma análise de perfil incremental.