Configurações de projeto para regras de qualidade de dados
Para uma configuração consistente das regras de qualidade de dados, você pode definir configurações padrão que podem ser aplicadas a qualquer regra de qualidade de dados no projeto.
- Permissões necessárias
- Para definir as configurações padrão de qualidade de dados, você deve ter a função de administrador no projeto. Qualquer colaborador do projeto pode visualizar as configurações.
Para acessar as configurações padrão, vá para a página Gerenciar do projeto e selecione Ferramentas > Qualidade dos dados.
Tabelas de saída
Para uma configuração consistente de tabelas de saída para regras de qualidade de dados, você pode definir uma configuração padrão.
Tipo e local de saída
Defina uma nova tabela de saída ou selecione uma tabela existente para gravar a saída da regra. Para conhecer os tipos de bancos de dados compatíveis, consulte Fontes de dados compatíveis para curadoria e qualidade de dados.
Quando você define uma nova tabela, o nome da tabela pode ser um nome definido pelo usuário, um parâmetro para criar um nome dinamicamente, uma combinação de nome definido pelo usuário e parâmetro ou uma combinação de parâmetros.
Os nomes de tabelas definidos pelo usuário devem seguir essa convenção:
- O primeiro caractere do nome deve ser um caractere alfabético.
- O restante do nome pode consistir em caracteres alfabéticos, caracteres numéricos ou sublinhados.
- O nome não deve conter espaços.
Para a criação de nomes dinâmicos, você pode usar esses parâmetros:
#execution_id##rule_id##rule_id##rule_name##project_id##job_id##job_run_id##rule_id#
Para os parâmetros com valores variáveis, uma nova tabela pode ser criada:
- Para
#job_run_id#para cada regra, execute - Para
#execution_id#, se a regra for executada na interface do usuário de regras de qualidade de dados ou por meio de uma chamada de API
Ao configurar o nome da tabela, lembre-se de que os bancos de dados de destino podem ter limites de comprimento para os nomes das tabelas. Parâmetros individuais ou uma combinação de parâmetros podem gerar nomes de tabelas que podem exceder o comprimento permitido. Por exemplo, um nome de regra pode ter até 256 caracteres, mas o banco de dados de destino pode não suportar nomes desse tamanho.
Além disso, você deve se certificar de que os nomes das tabelas de saída sejam exclusivos na fonte de dados. Especialmente os nomes criados dinamicamente não podem ser verificados antecipadamente quanto a colisões de nomes.
Além disso, você pode selecionar estas opções:
Criar tabela somente quando problemas forem encontrados
Essa opção evita que sejam criadas tabelas vazias nos casos em que uma regra não produz registros de saída. No entanto, se uma tabela com esse nome já existir porque foi gerada para uma execução de regra anterior, a tabela permanecerá inalterada.
Importar a tabela de saída gerada como ativo de projeto
Para facilitar o acesso à saída da regra, adicione novas tabelas de saída da regra como ativos de dados ao projeto. Em vez de executar uma consulta ao banco de dados, você pode visualizar os dados abrindo o ativo de dados na página Ativos do seu projeto ou no histórico de execução da regra.
Esta opção está ativada por padrão.
Para tornar essa configuração disponível para uso em regras de qualidade de dados, salve-a. A tabela configurada é então mostrada como Current (Atual ).
Você pode atualizar essa configuração a qualquer momento. Essas atualizações são então aplicadas a novas regras e a novas execuções de regras existentes que estão configuradas para herdar as configurações do projeto.
Explique as regras de qualidade dos dados com IA
Use IA para gerar descrições e explicações em texto simples em inglês para regras de qualidade de dados e as expressões de regras utilizadas, a fim de ajudar os usuários a compreender o objetivo de uma regra sem a necessidade de entender instruções SQL complexas ou linguagem técnica.
Esse recurso está ativado por padrão, mas só entra em vigor se o projeto estiver habilitado para o uso de IA generativa no watsonx.data intelligence.
As descrições geradas são atualizadas automaticamente sempre que a lógica da regra (expressões, ligações, instruções SQL) é alterada.
Você pode desativar a geração de descrições de regras e expressões de regras a qualquer momento. No entanto, se você já tiver descrições geradas por IA, essas descrições não serão mais atualizadas automaticamente para alterações nas expressões ou ligações das regras.
Para projetos criados antes dessa funcionalidade estar disponível ou se você reativar a opção, é possível atualizar automaticamente as regras de qualidade de dados existentes com descrições e explicações de expressões geradas por IA. No entanto, se você adicionou ou atualizou descrições manualmente, essas descrições permanecerão inalteradas.
Aplicação das regras de qualidade dos dados
Para reduzir a quantidade de dados transferidos da fonte e acelerar o processamento, as expressões nas regras de qualidade de dados baseadas em definições são convertidas em consultas SQL e executadas na fonte de dados, sem a transferência de quaisquer dados. As seguintes funções em expressões não são suportadas:
dataclassesofmatches_dataclass
Para obter mais informações sobre essas funções, consulte “Blocos de construção para a lógica das regras ”.
Esse tipo de pushdown está disponível para regras de qualidade de dados aplicadas a dados provenientes de uma conexão com o Databricks e configuradas sem uma tabela de saída. A fonte de dados do Databricks subjacente deve ser configurada com a versão do Spark 4.1.0, e o modo ANSI deve estar ativado.
Se a expressão da regra não puder ser convertida para SQL — por exemplo, por conter uma função não suportada —, o processamento da regra é realizado da maneira tradicional, na qual os dados são extraídos da fonte e processados no mecanismo do DataStage.
Para obter mais informações sobre o pushdown para fontes de dados que não sejam o Databricks, consulte “Avaliação da qualidade dos dados com regras: Pushdown ”.