Validando seus dados no Data Refinery
A qualquer momento depois de ter adicionado dados ao Data Refinery, é possível validar seus dados. Geralmente, você vai querer fazer isso em vários pontos do processo de refinamento.
Para validar seus dados:
No Data Refinery, clique na guia Perfil.
Revise as métricas de cada coluna clicando em um gráfico na guia Auditoria.
Tome as ações apropriadas, conforme descrito nas seções a seguir, dependendo do que você aprender.
Frequência
Para dados nominais, a frequência é o número de vezes que um valor, ou um valor em um intervalo especificado, ocorre. Cada distribuição de frequência (barra) mostra a contagem de valores exclusivos em uma coluna.
Revise a distribuição de frequência para localizar anomalias em seus dados. Se você deseja purificar seus dados dessas anomalias, simplesmente remova os valores.
Estatísticas Básicas
As estatísticas básicas são uma coleção de dados quantitativos. Para cada coluna, essas estatísticas incluem o mínimo, o máximo, a média e outras medidas.
Dependendo do tipo de dados de uma coluna, as estatísticas de cada coluna variam. Por exemplo, as estatísticas de uma coluna com um tipo de dados inteiro incluem o mínimo, o máximo, a mediana, a média, a soma, a moda e outras medidas relevantes. Por outro lado, as estatísticas de uma coluna com um tipo de dados de cadeia de caracteres incluem o mínimo, o máximo, o número de valores exclusivos, o modo e métricas adicionais aplicáveis.
Insights avançados
Para colunas com dados numéricos, você também pode ver estatísticas mais avançadas, como percentis, desvio padrão, covariância, assimetria e outras medidas.