Alterando valores no arquivo de configuração dinâmica em DataStage

Edite o arquivo de modelo de configuração dinâmica padrão para usar seus próprios valores de pool, recurso e disco de trabalho.

Se a variável de ambiente APT_CONFIG_FILE não estiver definida, o ambiente ds-runtime usa um arquivo modelo para gerar um arquivo de configuração dinâmico. O arquivo de configuração do modelo é chamado dynamic_config.apt.template e está localizado em /px-storage/config.

Por padrão, o arquivo de configuração do modelo contém as seguintes entradas:

{
node "conductor"
{
fastname "$conductor"
pools "conductor"
resource disk "/px-storage/pds_files/node1" {pool "" "export" "node1"}
resource scratchdisk "/opt/ibm/PXService/Server/scratch" {pool ""}
}
node "compute"
{
fastname "$pod"
pools ""
resource disk "/px-storage/pds_files/node#" {pool "" "export" "node#"}
resource scratchdisk "/opt/ibm/PXService/Server/scratch" {pool ""}
}
}

Edite este arquivo para alterar os valores dos pools, do disco de recursos e do disco de recursos temporários para os nós condutores e de computação.

O ambiente ds-runtime verifica a presença do arquivo /px-storage/config/aptconfig.template e, se ele estiver presente, usa esse modelo para gerar o arquivo de configuração com informações adicionais de partição que recebe do ambiente. Sempre que o ambiente px-runtime encontra um “node#” no arquivo de configuração do modelo, ele o substitui por um valor crescente como node2, node3, ou node4, com base nas informações da partição.

Veja o seguinte exemplo de arquivo de configuração gerado para quatro partições:

{
node "node1"
{
fastname "10.254.12.172"
pools "conductor"
resource disk "/px-storage/pds_files/node1" {pool "" "export" "node1"}
resource scratchdisk "/opt/ibm/PXService/Server/scratch" {pool ""}
}
node "node2"
{
fastname "ds-px-default-ibm-datastage-px-compute-0.ds-px-default-ibm-datastage-px-compute"
pools ""
resource disk "/px-storage/pds_files/node2" {pool "" "export" "node2"}
resource scratchdisk "/opt/ibm/PXService/Server/scratch" {pool ""}
}
node "node3"
{
fastname "ds-px-default-ibm-datastage-px-compute-1.ds-px-default-ibm-datastage-px-compute"
pools ""
resource disk "/px-storage/pds_files/node3" {pool "" "export" "node3"}
resource scratchdisk "/opt/ibm/PXService/Server/scratch" {pool ""}
}
node "node4"
{
fastname "ds-px-default-ibm-datastage-px-compute-0.ds-px-default-ibm-datastage-px-compute"
pools ""
resource disk "/px-storage/pds_files/node4" {pool "" "export" "node4"}
resource scratchdisk "/opt/ibm/PXService/Server/scratch" {pool ""}
}
node "node5"
{
fastname "ds-px-default-ibm-datastage-px-compute-1.ds-px-default-ibm-datastage-px-compute"
pools ""
resource disk "/px-storage/pds_files/node5" {pool "" "export" "node5"}
resource scratchdisk "/opt/ibm/PXService/Server/scratch" {pool ""}
}
}

Criando e editando um novo modelo

Você pode criar um novo modelo para o seu projeto e editá-lo para atender às suas necessidades.

Conecte-se ao nó infra.

[root@api.is-cpd-a.cp.fyre.ibm.com ~]# oc get pods | grep px
ds-px-default-ibm-datastage-px-compute-0 1/1 Running 0 6d21h
ds-px-default-ibm-datastage-px-compute-1 1/1 Running 0 6d21h
ds-px-default-ibm-datastage-px-runtime-c46dfd64d-87zv7 1/1 Running 0 6d21h

Digite o

px
pod

$oc rsh ds-px-default-ibm-datastage-px-runtime-c46dfd64d-87zv7

Copie o px-storage/config/dynamic_config.apt.template para o seu projeto, por exemplo:

sh-5.1$ cp /px-storage/config/dynamic_config.apt.template /ds-storage/PXRuntime/Projects/a44d10c3-cbc2-48ae-9c65-09ddb0c8b4b5/

Edite o dynamic_config.apt.template arquivo com o editor nano.

sh-5.1$ nano /ds-storage/PXRuntime/Projects/a44d10c3-cbc2-48ae-9c65-09ddb0c8b4b5/dynamic_config.apt.template

Se você deseja alterar a localização do disco de trabalho, altere a scratchdisk configuração no projeto específico dynamic_config.apt.template.

Arquivo copiado inicialmente:

{
  node "conductor"
  {
   fastname "$conductor"
   pools "conductor"
   resource disk "/px-storage/pds_files/node1" {pool "" "export" "node1"}
   resource scratchdisk "/opt/ibm/PXService/Server/scratch" {pool ""}
  }
  node "compute"
  {
   fastname "$pod"
   pools ""
   resource disk "/px-storage/pds_files/node#" {pool "" "export" "node#"}
   resource scratchdisk "/opt/ibm/PXService/Server/scratch" {pool ""}
  }
}

Arquivo alterado:

{
  node "conductor"
  {
   fastname "$conductor"
   pools "conductor"
   resource disk "/px-storage/pds_files/node1" {pool "" "export" "node1"}
   resource scratchdisk "/new/scratch/dir" {pool ""}
  }
  node "compute"
  {
   fastname "$pod"
   pools ""
   resource disk "/px-storage/pds_files/node#" {pool "" "export" "node#"}
   resource scratchdisk "/new/scratch/dir" {pool ""}
  }
}

Nesse caso, assim que as alterações forem salvas, os trabalhos executados no projeto adotarão o novo modelo.