Importando arquivos para conjuntos de dados de referência

É possível criar conjuntos de dados de referência fora do catálogo em Formato CSV (valor separado por vírgula), depois importar ou reimportar valores. Também é possível importar relacionamentos de mapeamento de valor de importação entre valores em diversos conjuntos de dados de referência.

Use um dos seguintes métodos para importar conjuntos de dados de referência:

  • Importe um ou mais conjuntos de dados de referência de um arquivo ZIP exportado anteriormente usando uma solicitação de API.

    Ao importar conjuntos de dados de referência em um arquivo ZIP, conforme descrito em Importação de todos os artefatos de governança de uma instância com um arquivo ZIP, você deve sempre usar ' merge_option=all na chamada de API.

  • Importar a definição do conjunto de dados de referência de um arquivo ` CSV ` usando a interface do usuário ou uma solicitação de API. Várias definições de conjuntos de dados de referência podem ser importadas em um único arquivo. Esse método não inclui valores de dados de referência - os valores devem ser importados separadamente.

  • Importe os valores dos dados de referência de um arquivo ` CSV ` para um conjunto específico usando a interface do usuário ou uma solicitação de API.

  • Importe valores de dados de referência de um arquivo ` CSV ` para um conjunto de dados de referência existente, utilizando a interface do usuário ou uma solicitação de API.

Nota: o número máximo de valor que pode ser importado é 5000.

Os planos de serviço legado IBM Knowledge Catalog ou Watsonx.data intelligence têm limites para o número e o tamanho dos conjuntos de dados de referência que você pode criar.

Ao importar ou exportar um conjunto de dados de referência em um arquivo ZIP, o arquivo contém um arquivo ` CSV ` que define os conjuntos de dados de referência incluídos nesse arquivo ZIP e, em uma pasta separada, um arquivo ` CSV ` por conjunto, contendo seus valores de dados de referência. Esses arquivos CSV têm um formato diferente.

O arquivo de definição do conjunto de dados de referência CSV contém informações sobre as propriedades de cada conjunto incluído, tais como o ID do artefato, um nome, uma descrição, a categoria à qual pertence e o tipo do conjunto de dados de referência. Ele pode ter o seguinte formato:

artifact_id,Name,Artifact Type,Category,Description,Secondary Categories,Related Terms,Data Set Type
026df326-74f2-4dce-8d6b-7d2f36b09d98,Customer Non Performing Loan Status,reference_data,54b9bd8a-ddfb-4512-8d46-e26d2926981e,Distinguishes between Customers according to their number of outstanding non-performing loans.,ecf8fade-4956-4e92-9a56-308949f0cb58,a9a63e90-94df-4b00-95ec-a951189d2183,TEXT
0544a0b7-07b7-4509-8cbe-22e36caa218b,Household Life Cycle Status,reference_data,8a72919e-8c40-4a73-b190-4803deb2160d,Distinguishes between Households according to the state of existence of the Household.,ecf8fade-4956-4e92-9a56-308949f0cb58,3a6f0d98-64fc-4166-b3e4-7f2ebcbeac9f,TEXT
07cf348c-76a3-482c-9614-2b89edabbaaf,Financial Legal Status,reference_data,54b9bd8a-ddfb-4512-8d46-e26d2926981e,"Distinguishes between Individuals or Organizations according to whether they are undergoing proceedings that affect their financial standing; for example, (US) Chapter 11 status, In Liquidation, In Receivership, Bankrupt.",ecf8fade-4956-4e92-9a56-308949f0cb58,03976617-abe9-4e5a-88cf-57193b22cce1,TEXT

O arquivo ` CSV `, que contém os valores dos dados de referência, é composto, no mínimo, pelas seguintes colunas definidas para o conjunto de dados de referência:

  1. Código
  2. Valor
  3. Descrição (opcional)
  4. Pai (opcional)

Ele também pode conter outras informações, como valores de dados de referência relacionados ou colunas customizadas

Por exemplo, as primeiras várias linhas de um conjunto de dados de referência para códigos NAICS são semelhantes a isto:

Code,value,description,parent
11,Agriculture, Forestry, Fishing and Hunting
111,Crop Production,Crop Produ,11
1111,Oilseed and Grain Farming,111
11111,Soybean Farming,Soybean Farming,1111
111110,Soybean Farming,Soybean Farming,1111
11112,Oilseed (except Soybean) Farming,Oilseed (except Soybean) Farming,1111
111120,Oilseed (except Soybean) Farming,Oilseed (except Soybean) Farming,1111

Leia mais sobre como formatar os arquivos do CSV no formato de arquivo CSV para importar artefatos de governança. Os diferentes métodos de importação são descritos em Métodos de importação para artefatos de controle.

As seções a seguir descrevem como importar arquivos do tipo “ CSV ” para conjuntos de dados de referência usando a interface do usuário. Na UI, é possível ver a barra de progresso para a tarefa de importação, também é possível visualizar o resumo da importação com descrições de erro. Observe que, ao importar valores de dados de referência, o número de valores salvos listados no resumo de importação pode ser diferente do número de valores realmente importados Isso ocorre porque todas as duplicatas do arquivo CSV são contabilizadas como valores salvos, embora apenas uma dessas duplicatas seja importada (dependendo do método de tratamento de duplicatas escolhido).

Importação de arquivos com definição de conjunto de dados de referência

  1. Clique em Governança > Todos os artefatos no menu principal. No painel esquerdo, selecione Dados de referência.

  2. Clique em Add reference data set (Adicionar conjunto de dados de referência ) e selecione Import from file (Importar do arquivo).

  3. Selecione um arquivo ` CSV ` que contenha a definição do conjunto de dados de referência, conforme descrito acima.

  4. Selecione a opção de mesclagem. Observe que as opções se referem à definição do conjunto de dados de referência, não aos seus valores. Os valores devem ser importados em uma etapa separada.

  5. Clique em Avançar

Como resultado, uma nova definição de conjunto de dados de referência é criada. Depois de criado, você pode adicionar valores manualmente ou importá-los de outro arquivo ` CSV `, conforme descrito na tarefa a seguir.

Importando arquivos com valores de dados de referência

No conjunto de dados de referência selecionado, clique em “Carregar arquivo” para selecionar um arquivo. CSV, do qual serão importados os valores:

  • Linhas no arquivo com códigos existentes atualizam as linhas existentes.
  • Linhas com novos códigos são incluídas.

Ao importar valores do arquivo ` CSV `, você mapeia as colunas do arquivo para qualquer coluna padrão ou personalizada. Se as colunas não existirem, você pode criá-las.

Importando colunas personalizadas

Os valores em um conjunto de dados de referência por padrão possuem as seguintes colunas: código, valor, descrição (opcional) e pai (opcional). No entanto, você pode desejar capturar informações adicionais relacionadas ao código em colunas customizadas. Por exemplo, você pode ter um conjunto de dados de referência de códigos de país e deseja capturar alguns outros atributos, como primeiro-ministro do país, idioma ou nomes alternativos.

É possível adicionar colunas personalizadas durante a criação de um conjunto de dados de referência a partir de um arquivo CSV no qual essas colunas estejam definidas, ou ao importar ou reimportar valores de um arquivo CSV para um conjunto de dados de referência já existente.

Veja o exemplo a seguir de uma parte de um arquivo ` CSV ` com colunas personalizadas. Este arquivo pode ser usado para importar ou reimportar valores.

code,value,description,Capital City,National Day,Official Language,Population
AFG,Afghanistan,The Islamic Republic of Afghanistan,Kabul,19/08/1919,دری,37200000
ALA,Åland Islands,Åland,Mariehamn,07/05/1920,svɛ̂nːska,28007
ALB,Albania,The Republic of Albania,Tirana,28/11/1912,Albanian,2850000
DZA,Algeria,The People's Democratic Republic of Algeria,Algiers,05/07/1962,الجزائر‎,42200000
ASM,American Samoa,The Territory of American Samoa,Pago Pago,14/06/1889,English,55465

Para importar colunas customizadas no conjunto de dados de referência:

  1. Abra o conjunto de dados de referência e clique em Arquivo de upload. Forneça o arquivo ` CSV ` e clique em Avançar.
  2. Mapeie as colunas do seu arquivo para as colunas padrão ou existentes no conjunto de dados de referência. Para incluir nova coluna customizada, na lista suspensa Coluna de destino , selecione + Incluir coluna customizada (Opcional).
  3. Forneça o nome da coluna, a descrição, o máximo de caracteres e especifique se deseja validar os valores da coluna com relação ao código de outro conjunto de dados de referência.
  4. É possível marcar a coluna customizada como parte da chave composta. Colunas customizadas que fazem parte da chave composta são obrigatórias por padrão.
  5. Repita os passos para cada coluna do arquivo ` CSV ` que você deseja mapear.
  6. Ao mapear todas as colunas, revise as informações, reorganize as colunas se necessário e clique em Salvar.

Importando valores relacionados

É possível importar relações entre valores em conjuntos de dados de referência usando um arquivo do tipo “ CSV ”. Os valores nos conjuntos de dados de referência de origem e de destino devem existir no sistema para criar relacionamentos, caso contrário, os relacionamentos não serão importados Primeiro, importe os dois conjuntos de dados de referência relacionados e, em seguida, use os mesmos arquivos ` CSV ` para importar as relações.

Veja o exemplo a seguir de um arquivo CSV com mapeamentos de valor.

code,value,description,map_1_n_to_states,map_1_1_continents
IND,India,Asian country,"KA,AP,MP,DL,GJ",ASIA
USA,America,North American Country,"CA,FL,NY,TX",NorthAmerica
GER,Germany,European Country,,Europe

Para adicionar valores relacionados importando um arquivo do tipo ` CSV `, siga estas etapas:

  1. Abra o conjunto de dados de referência para o qual você deseja adicionar valores relacionados.
  2. A partir do menu de três pontos clique em Upload de valores relacionados.
  3. Inclua o arquivo que deseja fazer o upload arrastando-o para a janela Valores relacionados à importação ou navegando para o arquivo. Em seguida, clique em Avançar.
  4. Escolha a coluna do seu arquivo que tenha os valores de código que deseja mapear para um ou mais outros valores de código.
  5. Escolha o tipo de relacionamento (um para um ou um para muitos) que você deseja entre cada valor e o valor relacionado.
  6. Escolha a coluna a partir de seu arquivo que tenha os códigos relacionados dos valores de referência que você deseja mapear e quais os dados de referência definidos os valores relacionados pertencem.
  7. Clique em Salvar.

Observação: Ao trabalhar com os arquivos ` CSV ` cujos valores de dados de referência são definidos por uma chave composta, certifique-se de que a relação de hierarquia entre os valores, bem como os valores relacionados com mapeamento único ou múltiplo, sejam representados como uma concatenação dos valores da coluna `CODE` e dos valores da coluna da chave composta, delimitados por |. O código sempre vem primeiro, seguido pelos valores da coluna da chave composta, por exemplo: CODE|CC1|CC2|CC3.

Saiba Mais