Incluindo correspondência de dados em classes de dados

Classe de dados pai

A classe de dados pai é usada para organizar a classe de dados em relacionamentos pai/filhos. Ele também funciona como uma espécie de "pré-filtro" se um método de dados de correspondência automática for usado: Se uma classe de dados pai tiver um método de dados correspondente, os métodos de correspondência de dados para as classes de dados das crianças só serão avaliados se o método de correspondência de dados para a classe de dados pai retornou uma correspondência positiva. Isso significa que se você definir uma classe de dados pai, ela terá um impacto nos critérios usados pelo processo de classificação de dados para decidir se a classe de dados deve ser designada ou não a um campo de dados analisado.

Limite

Este campo representa a confiança mínima que um candidato de classe de dados deve ter em uma coluna para que essa classe de dados seja realmente designada à coluna. Por exemplo: você define o limite de uma classe como 90%. Durante a análise, uma coluna corresponde a classe de dados com uma confiança de 95% e outra coluna corresponde com uma confiança de 89%. Como o limite é 90%, a classe de dados será designada somente à primeira coluna.

Reduza o limite quando desejar que a designação de classe de dados aconteça mesmo que nem todos os dados correspondam à classe de dados. É possível fazer isso se a qualidade dos dados não for perfeita, e também nos casos em que sabe-se que a definição de método de correspondência não cobre 100% de todo o domínio de todos os valores possíveis. Um bom exemplo é um classificador para detectar nomes de cidade. Não é prático definir uma lista precisa de valores contendo todos os nomes de cidade no mundo, incluindo os locais menores. Uma abordagem mais prática seria entrar na lista das 100 maiores cidades e diminuir o limite para refletir o fato de não se esperar que todos os valores de uma coluna sejam uma dessas 100 maiores cidades, mas que uma classificação deve ser positiva mesmo que valores suficientes (< 100%) sejam encontrados nessa lista das 100 maiores cidades.

A definição de um limite é opcional. Para o enriquecimento de metadados, o limite definido no nível do projeto é utilizado caso você não defina um limite diretamente na classe de dados. Um limite definido na classe de dados sempre tem precedência sobre as configurações de atribuição da classe de dados no projeto setting.See.

As seguintes classes de dados predefinidas têm um limite padrão definido na definição da classe de dados:

Prioridade

A prioridade da classe de dados determina a ordem em que as classes de dados candidatas devem se tornar a classe de dados inferida. Apenas as classes de dados com uma confiança acima do limite de confiança serão designadas. Quando os dados coincidem com diversas classes de dados, será designado aquele com a maior prioridade e uma confiança acima do limite de confiança.

Algumas classes de dados predefinidas têm uma prioridade definida. Caso contrário, a prioridade padrão é 10 para classes de dados predefinidas com o valor de escopo correspondente. Para classes de dados com a coluna de escopo correspondente, a prioridade padrão é 0. Para que uma classe de dados personalizada tenha precedência sobre uma classe de dados predefinida, ela deve ser definida com uma prioridade mais alta.

Corresponder a uma lista de valores válidos

Ao corresponder dados a uma lista de valores válidos, você cria uma lista de valores válidos que classificam seus dados no nível dos valores de uma coluna de banco de dados. Você deve inserir os valores manualmente, um por um; portanto, esse método é recomendado para um conjunto pequeno de valores. Para listas mais longas, você pode usar o método “Corresponder aos dados de referência ”.

Na seção Corresponder a lista de valores válidos, especifique uma lista de valores válidos.

Critérios de correspondência de texto:

Faz distinção entre maiúsculas e minúsculas

Se você selecionar, apenas os valores que tiverem o mesmo caso dos valores válidos especificados serão classificados como correspondência da classe de dados. Se não selecionado, o caso será ignorado.

Espaçamento exato

Se você selecionar, somente as correspondências exatas serão classificadas positivamente. Se não selecionado, vários caracteres de espaço em branco serão reduzidos em um único espaço antes de comparar os valores válidos com os valores testados. Por exemplo, se o valor válido for New York e o valor testado for New York, o valor testado será classificado como correspondente, mesmo que haja vários caracteres de espaço em branco no valor válido, como New York. Se o valor testado for NewYork sem um espaço, no entanto, o valor testado será classificado como não correspondente.

Palavras inteiras

Se você selecionar, somente as correspondências exatas serão classificadas positivamente. Se não selecionado, os valores que forem localizados como subsequência serão classificados como correspondência da classe de dados também. Por exemplo, se o valor válido for Paris e o valor testado for Parisienne moonlight, o valor testado será classificado como correspondente.

Em seguida, especifique a porcentagem de valores de dados correspondentes necessários para designar essa classe de dados.

Corresponder aos dados de referência

Ao corresponder dados a um conjunto de dados referência, você seleciona um conjunto de dados de referência para classificar os seus dados no nível dos valores de uma coluna de banco de dados. Um conjunto de dados de referência é composto, no mínimo, pelas seguintes colunas:

• Código
• Valor

Observe que este método de correspondência utiliza a coluna “código” no conjunto de dados de referência para determinar a classe de dados.

Exemplo de um arquivo ` CSV ` com uma amostra de códigos de país:

code,value
"AND","Andorra"
"ARE","United Arab Emirates"
"AFG","Afghanistan"
"ATG","Antigua And Barbuda"
"AIA","Anguilla"
"ALB","Albania"
"ARM","Armenia"
...

Os códigos neste exemplo, como AND, ARE, AFG, podem ser usados para determinar a classe de dados.

Corresponder aos critérios de uma expressão regular

Uma expressão regular é usada para determinar se cada valor de uma coluna de banco de dados pertence à classe de dados.

Ao corresponder a critérios em uma expressão regular, você cria uma expressão regular que classifica seus dados no nível dos valores de uma coluna de banco de dados. A expressão regular deve usar o formato JavaScript.

A expressão regular aplica-se a ativos de dados com estrutura clara, como bancos de dados, tabelas ou colunas.

É possível copiar e colar qualquer um dos exemplos a seguir para expressões regulares para Critérios de nome da coluna. Em seguida, especifique um nome de coluna para testar a expressão regular. Também é possível selecionar o tipo de dados e o comprimento do valor de dados.

[0-9]{3}-[0-9]{2}-[0-9]{4}

\(?[0-9]{3}\)?[-. ]?[0-9]{3}[-. ]?[0-9]{4}

<tns:DataClass id="DOB" name="%DOB.name" description="%DOB.description" provider="IBM" example="12-30-2015">
            <tns:JavaClassifier
                className="com.ibm.infosphere.classification.impl.DOBClassifier" />:
<tns:ColumnNameFilter>
                <tns:ColumnNameRegularExpression><![CDATA[dob$|birth(day)?|geburtsdatum|na(issance|cimiento|scita)|urodzenia|(生ま(れた日)?|誕生日)|出生(年月)?]]></tns:ColumnNameRegularExpression>
            </tns:ColumnNameFilter>
</tns:DataClass>

Corresponder aos critérios na classe Java implementada

É possível incluir uma classe Java para expressar a lógica de classificação de dados. Você pode escolher entre um conjunto predefinido de classes Java ou usar sua própria classe Java. Para obter mais informações sobre classes Java personalizadas, consulte Criação de pacotes de classes Java personalizadas.

Especifique o nome totalmente qualificado da classe Java.

Se você tiver excluído uma classe de dados predefinida que está usando uma classe Java como método de correspondência, será possível recriá-la usando a mesma especificação originalmente usada. Consulte os detalhes das classes de dados predefinidas.

Corresponder aos critérios no serviço personalizado

Esse método de correspondência só estará disponível se o ` Watson Machine Learning ` estiver instalado no seu ambiente ` Cloud Pak for Data `.

Você pode criar e implantar um serviço personalizado, como um modelo de validação de tipo ( Watson Machine Learning ), que contenha a lógica para determinar se o valor de uma coluna do banco de dados pertence à classe de dados. Para utilizar esse serviço personalizado para a correspondência de dados nas atribuições de classes de dados, selecione o espaço de implantação do serviço e a implantação do serviço. Opcionalmente, você pode verificar se o serviço pode ser chamado ao configurar esse método de correspondência.

Para saber como usar um modelo e uma função de pontuação implantados no Watson Machine Learning para a correspondência de dados na atribuição de classes de dados no Cloud Pak for Data, você pode trabalhar com um notebook de exemplo para a atribuição de classes de dados com base em um modelo do Watson Machine Learning. Você pode baixar o arquivo de exemplo do notebook no repositório de exemplos do IBM Knowledge Catalog : GitHub : custom_data_class_sample.ipynb

Outros critérios de correspondência

A correspondência é baseada em critérios relativos ao nome, ao tipo de dados da coluna ou a ambos. Não há critérios adicionais para avaliar os valores da coluna. Este critério é aplicado em conjunto com o método de correspondência selecionado inicialmente.

É possível especificar uma expressão regular para definir nomes de colunas correspondentes e fornecer um nome de coluna de amostra para teste. O tipo de dados da coluna pode ter qualquer tipo, Booleano, data ou número. Também é possível definir o comprimento mínimo e máximo do valor de dados.

^Order$

Saiba Mais

• IBM Knowledge Catalog exemplos no repositório GitHub