IBM DataStage para Cloud Pak for Data configuração de linhagem

Definição de origem de dados

Se o seu DataStage para a instância Cloud Pak for Data estiver na mesma instância que IBM Cloud, utilize a definição da fonte de dados IBM Cloud, caso ela já tenha sido criada. Você pode usá-lo para todas as tecnologias do IBM que estiverem implantadas na sua instância do IBM Cloud. No gráfico de linhagem, os dados importados de instâncias do tipo DataStage para o Cloud Pak for Data e outras tecnologias são exibidos no contêiner IBM Cloud.

Em outros casos, selecione “ IBM ” ( DataStage ) para “ Cloud Pak for Data ” como tipo de fonte de dados.

Conexão

Ao criar uma conexão, certifique-se de que estes requisitos sejam atendidos:

• Para se conectar a DataStage para Cloud Pak for Data, forneça um nome de usuário e uma senha.
• Para se conectar a DataStage para Cloud Pak for Data as a Service, forneça a chave da API. Se você não tiver uma, no menu de navegação, vá para Administração > Acesso (IAM) > Gerenciar identidades > Chaves de API e crie uma nova chave de API. Use o valor do token nos detalhes da conexão.
• Especifique um certificado do seu domínio DataStage para a instância Cloud Pak for Data em todos os casos. A conexão pode não ser estabelecida sem o certificado.
• Configure a conexão com as seguintes propriedades:
  • Tipo de implantação : Obrigatório. Especifique o tipo de ambiente onde a instância de destino do DataStage para Cloud Pak for Data está implantada.
  • URL do token Iam : Opcional. Use esta opção apenas se estiver conectando-se a ambientes de desenvolvimento ou teste, ou outros ambientes que estejam usando IAM personalizado. Especifique um endereço completo URL para um ponto de extremidade usado para gerar tokens IAM. Esta opção é aplicável para tipos de implantação em nuvem.

Para obter detalhes sobre a conexão, consulte DataStage para uma conexão com o Cloud Pak for Data.

Prepare um arquivo.zip como uma entrada externa

Você pode fornecer fluxos DataStage como entradas externas em um arquivo.zip. A pasta deve ter a seguinte estrutura:

• <project_export.zip> - Um projeto que foi exportado para um arquivo.zip usando a opção exportar para área de trabalho.
• DSParams - Um arquivo que contém os parâmetros em nível de projeto ou ambiente, se aplicável. Você pode obter esse arquivo no diretório do projeto.
• datastageParameterOverride.txt - Um arquivo com substituições de conjuntos de parâmetros se seus trabalhos usarem conjuntos de parâmetros.
• connection_definition/odbcConnectionDefinition.ini - Um arquivo com definições de conexão para conexões ODBC. As definições das conexões do ODBC não estão incluídas nas exportações do DataStage XML e devem ser especificadas separadamente.
• datastageComponentOverrides.csv - Um arquivo com substituições de linhagem de componentes.

O formato do arquivo.zip com o projeto DataStage exportado
Quando você exporta um projeto DataStage, ele deve ter a seguinte estrutura:

• assets - pasta necessária.
  • .METADATA - pasta necessária.
  • data_intg_flow.*.json - arquivos necessários que contêm informações sobre fluxos.
  • connection.*.json - arquivos opcionais que contêm informações sobre conexões.
  • parameter_set.*.json - arquivos opcionais que contêm informações sobre conjuntos de parâmetros.
  • job.*.json - arquivos opcionais que contêm informações sobre trabalhos.
  • job_run.*.json -arquivos opcionais que contêm informações sobre determinadas execuções do trabalho.
  • data_intg_flow - pasta necessária.
  • Pelo menos um arquivo que contenha a string "schemas":[{, mas que não termine em px_executables.
• assettypes - pasta necessária.
• project.json - arquivo necessário. Pode haver várias instâncias desse arquivo como resultado da descompressão do ZIP, o que está correto.

O formato de arquivo datastageParameterOverride.txt O arquivo datastageParameterOverride.txt tem o seguinte conteúdo:

[ENVIRONMENT]
PARAM1_NAME = "param1_value"
PARAM2_NAME = "param2_value"
PARAM3_NAME = "param3_value"
[PARAMETER_SET/parameter_set_name]
param4_name  = "default_param4_value"
param5_name  = "default_param5_value"
$PARAM3_NAME = "$PROJDEF"
[VALUE_FILE/parameter_set_name/value_file1_name]
param4_name  = "some_param4_value"
param5_name  = "some_param5_value"
$PARAM3_NAME = "some_param3_value"
[VALUE_FILE/parameter_set_name/value_file2_name]
param4_name  = "other_param4_value"
param5_name  = "other_param5_value"
$PARAM3_NAME = "other_param3_value"
[JOB/job1_name]
param6_name = "param6_value"
param7_name = "param7_value"
[JOB/job2_name]
param7_name = "param8_value"

O formato de arquivo connection_definition/odbcConnectionDefinition.ini O arquivo connection_definition/odbcConnectionDefinition.ini tem o seguinte conteúdo. Crie uma seção [Shortcut_Name] separada para cada conexão.

[<Shortcut_Name>]
Type=<connection_type>
Connection_String=<connection_string>
Server_Name=<server_name>
Database_Name=<database_name>
Schema_Name=<schema_name>
User_Name=<user_name>

• Shortcut_Name : O nome da conexão ou do servidor de dados que é usado pela ferramenta de integração de dados.
• connection_type : O tipo de fonte de dados.
• connection_string : Uma cadeia de conexão JDBC ou qualquer identificação do banco de dados, como o ID do sistema (SID) ou o nome do host.
• server_name : o valor depende do tipo de fonte de dados:
  • Db2, Microsoft SQL Server, Netezza Performance Server, SAP ASE (anteriormente Sybase ), ou Teradata : O nome do servidor.
  • FTP: o nome do host.
  • Oracle e outros bancos de dados: O valor é ignorado.
• database_name : o valor depende do tipo de fonte de dados:
  • Oracle : O nome do banco de dados global.
  • Db2, Microsoft SQL Server, Netezza Performance Server, SAP ASE (anteriormente Sybase ), Teradata, e outros bancos de dados: O nome do banco de dados padrão.
  • user_name : o nome do usuário que faz login no banco de dados.

Adicione uma nova linha no final dos parâmetros de cada seção.

O formato de arquivo datastageComponentOverrides.csv O arquivo datastageComponentOverrides.csv tem o seguinte conteúdo:

"Full path to Stage";"Input Link name";"Input Column name";"Output Link name";"Output Column name";"Edge Type (DIRECT | FILTER)";"Description (optional)"
"manual_mapping_job/Generic_3";"DSLink2";"a";"DSLink5";"b";"DIRECT";""

O caminho para o estágio está no formato Job/[Shared and Local containers optional]/Stage.

Carregue o arquivo.zip no projeto

Para usar o arquivo.zip na importação de metadados, é necessário adicioná-lo ao projeto em que você criou a importação de metadados.

1. No projeto, clique em Importar ativos.
2. Na seção Arquivo local, clique em Ativo de dados.
3. Adicione o arquivo.zip ao projeto DataStage.

Ao criar a importação de metadados, você poderá selecionar esse arquivo na etapa Adicionar entradas do arquivo.

Configure a importação para usar somente a entrada externa

Se você quiser importar metadados somente da entrada externa fornecida, e não diretamente da instância conectada do DataStage for Cloud Pak for Data, conclua estas etapas:

1. Adicione o arquivo.zip na seção Add inputs from file (Adicionar entradas do arquivo) e clique em Next (Avançar ).
2. Expanda a lista de fases de importação de linhagem e desative a fase de extração Transformations (Transformações ).