Configuração da importação de metadados para ativos de integração de dados

A integração de dados usa processos técnicos e comerciais para combinar dados de diferentes fontes e criar informações significativas e valiosas para sua empresa. As ferramentas de integração de dados podem usar padrões de extração, transformação e carregamento (ETL) para transformar e organizar dados com base nas necessidades comerciais. Esses trabalhos de ETL movem os dados dos sistemas de origem para os sistemas de destino.

Você pode importar metadados de linhagem do InfoSphere DataStage. Não é possível importar ativos dessa fonte.

InfoSphere DataStage

Ao criar uma importação de metadados de linhagem para o InfoSphere DataStage, você pode definir opções específicas para essa fonte de dados e definir o escopo dos dados para os quais a linhagem é gerada. Para obter detalhes sobre a importação de metadados, consulte Projetando importações de metadados.

Entradas externas

Você pode fornecer ativos InfoSphere DataStage, como trabalhos, estágios ou arquivos de metadados operacionais, como entradas externas em um arquivo .zip. A pasta deve ter a seguinte estrutura:

  • <job_name.xml> - Os trabalhos paralelos DataStage que você deseja analisar e os conjuntos de parâmetros que você usa nesses trabalhos como um arquivo XML, exportado do cliente do designer.
  • omd_files - Uma pasta para arquivos de metadados operacionais (OMD).
    • <omd_file_name> - Arquivos de metadados operacionais que são coletados durante a execução do trabalho para resolver qualquer tipo de parâmetro nos trabalhos.
  • sql_files - Uma pasta que contém todos os arquivos SQL.
    • <sql_file_name> - Um arquivo com consultas SQL.
  • DSParams - Um arquivo que contém os parâmetros em nível de projeto ou ambiente, se aplicável. Você pode obter esse arquivo no diretório do projeto.
  • datastageParameterOverride.txt - Um arquivo com substituições de conjuntos de parâmetros se seus trabalhos usarem conjuntos de parâmetros.
  • connection_definition/odbcConnectionDefinition.ini - Um arquivo com definições de conexão para conexões ODBC. As definições de conexões ODBC não estão incluídas nas exportações XML DataStage e devem ser especificadas separadamente.
  • datastageComponentOverrides.csv - Um arquivo com substituições de linhagem de componentes.

O formato de arquivo datastageParameterOverride.txt O arquivo datastageParameterOverride.txt tem o seguinte conteúdo:

[ENVIRONMENT]
PARAM1_NAME = "param1_value"
PARAM2_NAME = "param2_value"
PARAM3_NAME = "param3_value"
[PARAMETER_SET/parameter_set_name]
param4_name  = "default_param4_value"
param5_name  = "default_param5_value"
$PARAM3_NAME = "$PROJDEF"
[VALUE_FILE/parameter_set_name/value_file1_name]
param4_name  = "some_param4_value"
param5_name  = "some_param5_value"
$PARAM3_NAME = "some_param3_value"
[VALUE_FILE/parameter_set_name/value_file2_name]
param4_name  = "other_param4_value"
param5_name  = "other_param5_value"
$PARAM3_NAME = "other_param3_value"
[JOB/job1_name]
param6_name = "param6_value"
param7_name = "param7_value"
[JOB/job2_name]
param7_name = "param8_value"

O formato de arquivo connection_definition/odbcConnectionDefinition.ini O arquivo connection_definition/odbcConnectionDefinition.ini tem o seguinte conteúdo. Crie uma seção [Shortcut_Name] separada para cada conexão.

[<Shortcut_Name>]
Type=<connection_type>
Connection_String=<connection_string>
Server_Name=<server_name>
Database_Name=<database_name>
Schema_Name=<schema_name>
User_Name=<user_name>
  • Shortcut_Name: O nome da conexão ou do servidor de dados que é usado pela ferramenta de integração de dados.
  • connection_type: O tipo de fonte de dados.
  • connection_string: Uma cadeia de conexão JDBC ou qualquer identificação do banco de dados, como o ID do sistema (SID) ou o nome do host.
  • server_name: o valor depende do tipo de fonte de dados:
    • Db2, Microsoft SQL Server, Netezza Performance Server, SAP ASE (antigo Sybase) ou Teradata: O nome do servidor.
    • FTP: o nome do host.
    • Oracle e outros bancos de dados: O valor é ignorado.
  • database_name: o valor depende do tipo de fonte de dados:
    • Oracle: o nome do banco de dados global.
    • Db2, Microsoft SQL Server, Netezza Performance Server, SAP ASE (antigo Sybase), Teradata e outros bancos de dados: O nome do banco de dados padrão.
    • user_name: o nome do usuário que faz login no banco de dados.

Adicione uma nova linha no final dos parâmetros de cada seção.

O formato de arquivo datastageComponentOverrides.csv O arquivo datastageComponentOverrides.csv tem o seguinte conteúdo:

"Full path to Stage";"Input Link name";"Input Column name";"Output Link name";"Output Column name";"Edge Type (DIRECT | FILTER)";"Description (optional)"
"manual_mapping_job/Generic_3";"DSLink2";"a";"DSLink5";"b";"DIRECT";""

O caminho para o estágio está no formato ' Job/[Shared and Local containers optional]/Stage.

Opções de importação avançadas

Autenticação de usuário proxy do Oracle
Você pode usar a autenticação de usuário do proxy Oracle. Defina o valor como " true para alterar os nomes de usuário Oracle no formato " \"USERNAME[SCHEMA_OWNER]\" para o formato " \"SCHEMA_OWNER\". Em outros casos, defina o valor como ' false.
Arquivos de valor
Especifique os nomes dos arquivos de valores a serem usados nos conjuntos de parâmetros em ordem de prioridade. Por exemplo, DEV1,TEST,PROD.

Saiba Mais