Incluindo correspondência de dados em classes de dados

Classe de dados pai

A classe de dados pai é usada para organizar a classe de dados em relacionamentos pai/filhos. Ele também funciona como uma espécie de "pré-filtro" se um método de dados de correspondência automática for usado: Se uma classe de dados pai tiver um método de dados correspondente, os métodos de correspondência de dados para as classes de dados das crianças só serão avaliados se o método de correspondência de dados para a classe de dados pai retornou uma correspondência positiva. Isso significa que se você definir uma classe de dados pai, ela terá um impacto nos critérios usados pelo processo de classificação de dados para decidir se a classe de dados deve ser designada ou não a um campo de dados analisado.

Limite

Este campo representa a confiança mínima que um candidato de classe de dados deve ter em uma coluna para que essa classe de dados seja realmente designada à coluna. Por exemplo: você define o limite de uma classe como 90%. Durante a análise, uma coluna corresponde a classe de dados com uma confiança de 95% e outra coluna corresponde com uma confiança de 89%. Como o limite é 90%, a classe de dados será designada somente à primeira coluna.

Reduza o limite quando desejar que a designação de classe de dados aconteça mesmo que nem todos os dados correspondam à classe de dados. É possível fazer isso se a qualidade dos dados não for perfeita, e também nos casos em que sabe-se que a definição de método de correspondência não cobre 100% de todo o domínio de todos os valores possíveis. Um bom exemplo é um classificador para detectar nomes de cidade. Não é prático definir uma lista precisa de valores contendo todos os nomes de cidade no mundo, incluindo os locais menores. Uma abordagem mais prática seria entrar na lista das 100 maiores cidades e diminuir o limite para refletir o fato de não se esperar que todos os valores de uma coluna sejam uma dessas 100 maiores cidades, mas que uma classificação deve ser positiva mesmo que valores suficientes (< 100%) sejam encontrados nessa lista das 100 maiores cidades.

A configuração de um limite é opcional. Para o enriquecimento de metadados, o limite definido no nível do projeto é usado se você não configurar um limite na classe de dados diretamente. Um limite definido na classe de dados sempre tem precedência sobre as configurações de atribuição de classe de dados do projeto setting.See.

As classes de dados predefinidas a seguir têm um limite padrão definido na definição da classe de dados:

Prioridade

A prioridade da classe de dados determina a ordem em que as classes de dados do candidato devem se tornar a classe de dados inferida. Apenas as classes de dados com uma confiança acima do limite de confiança serão designadas. Quando os dados coincidem com diversas classes de dados, será designado aquele com a maior prioridade e uma confiança acima do limite de confiança.

Algumas classes de dados predefinidas têm um conjunto prioritário. Caso contrário, a prioridade padrão é 10 para classes de dados predefinidas com o escopo de correspondência valor. Para classes de dados com o escopo de correspondência coluna, a prioridade padrão é 0. Para que uma classe de dados customizada tenha precedência sobre uma classe de dados predefinida, ela deve ser definida com uma prioridade mais alta.

Corresponder a uma lista de valores válidos

Ao corresponder dados a uma lista de valores válidos, você cria uma lista de valores válidos que classificam seus dados no nível dos valores de uma coluna de banco de dados. Deve-se fornecer os valores um por um manualmente, portanto, esse método é recomendado para um pequeno conjunto de valores Para listas mais longas, é possível usar o método Correspondência para dados de referência .

Na seção Corresponder a lista de valores válidos, especifique uma lista de valores válidos.

Critérios de correspondência de texto:

Faz distinção entre maiúsculas e minúsculas

Se você selecionar, apenas os valores que tiverem o mesmo caso dos valores válidos especificados serão classificados como correspondência da classe de dados. Se não selecionado, o caso será ignorado.

Espaçamento exato

Se você selecionar, somente as correspondências exatas serão classificadas positivamente. Se não selecionado, vários caracteres de espaço em branco serão reduzidos em um único espaço antes de comparar os valores válidos com os valores testados. Por exemplo, se o valor válido for New York e o valor testado for New York, o valor testado será classificado como correspondente, mesmo que haja vários caracteres de espaço em branco no valor válido, como New York. Se o valor testado for NewYork sem um espaço, no entanto, o valor testado será classificado como não correspondente.

Palavras inteiras

Se você selecionar, somente as correspondências exatas serão classificadas positivamente. Se não selecionado, os valores que forem localizados como subsequência serão classificados como correspondência da classe de dados também. Por exemplo, se o valor válido for Paris e o valor testado for Parisienne moonlight, o valor testado será classificado como correspondente.

Em seguida, especifique a porcentagem de valores de dados correspondentes necessários para designar essa classe de dados.

Corresponder aos dados de referência

Ao corresponder dados a um conjunto de dados referência, você seleciona um conjunto de dados de referência para classificar os seus dados no nível dos valores de uma coluna de banco de dados. Um conjunto de dados de referência no mínimo consiste nas colunas a seguir:

• Código
• Valor

Observe que esse método de correspondência usa a coluna de códigos no conjunto de dados de referência para determinar a classe de dados

Exemplo de um arquivo ` CSV ` com uma amostra de códigos de país:

code,value
"AND","Andorra"
"ARE","United Arab Emirates"
"AFG","Afghanistan"
"ATG","Antigua And Barbuda"
"AIA","Anguilla"
"ALB","Albania"
"ARM","Armenia"
...

Os códigos neste exemplo, como AND, ARE, AFG, podem ser utilizados para determinar a classe de dados

Corresponder a critérios em uma expressão regular

Uma expressão regular é usada para determinar se cada valor de uma coluna de banco de dados pertence à classe de dados.

Ao corresponder a critérios em uma expressão regular, você cria uma expressão regular que classifica seus dados no nível dos valores de uma coluna de banco de dados. A expressão regular deve usar o formato JavaScript.

A expressão regular aplica-se a ativos de dados com estrutura clara, por exemplo, bancos de dados, tabelas ou colunas

É possível copiar e colar qualquer um dos exemplos a seguir para expressões regulares para Critérios de nome da coluna. Em seguida, especifique um nome de coluna para testar a expressão regular. Também é possível selecionar o tipo de dados e o comprimento do valor de dados.

[0-9]{3}-[0-9]{2}-[0-9]{4}

\(?[0-9]{3}\)?[-. ]?[0-9]{3}[-. ]?[0-9]{4}

<tns:DataClass id="DOB" name="%DOB.name" description="%DOB.description" provider="IBM" example="12-30-2015">
            <tns:JavaClassifier
                className="com.ibm.infosphere.classification.impl.DOBClassifier" />:
<tns:ColumnNameFilter>
                <tns:ColumnNameRegularExpression><![CDATA[dob$|birth(day)?|geburtsdatum|na(issance|cimiento|scita)|urodzenia|(生ま(れた日)?|誕生日)|出生(年月)?]]></tns:ColumnNameRegularExpression>
            </tns:ColumnNameFilter>
</tns:DataClass>

Outros critérios de correspondência

A correspondência é baseada em critérios sobre o nome, o tipo de dados da coluna ou ambos.. Não há critérios adicionais para avaliar os valores da coluna. Este critério é aplicado em cima do método de correspondência inicialmente selecionado.

É possível especificar uma expressão regular para definir nomes de colunas correspondentes e fornecer um nome de coluna de amostra para teste. O tipo de dados da coluna pode ter qualquer tipo, Booleano, data ou número. Também é possível definir o comprimento mínimo e máximo do valor de dados.

^Order$

Saiba Mais

• IBM watsonx.data intelligence amostras GitHub repositório