DataStage 에서 다중 컨덕터 (PX 런타임) 팟 (Pod) 사용

DataStage PX 런타임 컨덕터 팟 (Pod) 의 수를 늘려 컴퓨팅 가용성을 늘리고 워크로드 밸런싱을 개선할 수 있습니다.

이 태스크에 대한 정보

현재 리소스 제한(가장 일반적으로 CPU)으로 인해 실행할 수 있는 동시 작업 수가 제한되어 작업이 대기열에 오를 수 있습니다. 컨덕터 포드를 확장하여 컴퓨팅 성능을 개선할 수 있습니다. 또한 스케일링을 통해 많은 수의 트랜스포머를 동시에 컴파일할 때 컴퓨팅 가용성을 높일 수 있습니다.

컴퓨팅 팟 (Pod) 은 사용 가능한 컴퓨팅 팟 (Pod) 에 워크로드를 분배하는 동적 워크로드 관리를 사용하여 수평 및 수직으로 확장할 수 있습니다. 기본적으로 런타임 인스턴스는 하나의 DataStage PX 런타임 컨덕터 팟 (Pod) 으로 작성됩니다. 각 작업은 여러 컴퓨팅 팟 (Pod) 에서 하나의 컨덕터 팟 (Pod) 에 의해 실행됩니다. PX 런타임 컨덕터 팟 (Pod) 의 수를 늘려 컴퓨팅 가용성을 늘릴 수 있습니다. 컨덕터 팟 (Pod) 이 사용 가능한 한 새 작업을 제출할 수 있습니다. 동일한 서비스의 여러 팟 (Pod) 은 동일한 작업자 노드에 배치되지 않습니다.

프로시저

  1. 다음 명령을 사용하여 px-runtime (DataStage PX 인스턴스 컨덕터) 의 복제본 수를 2로 설정하십시오. 복제본을 2이상으로 스케일링할 수 있습니다.
    oc scale deploy <px-runtime-deployment> --replicas=2
    예:
    oc scale deploy px-instance-ibm-datastage-px-runtime --replicas=2
  2. DataStage PX 런타임 인스턴스 사용자 정의 자원 (CR) 을 수정하여 기본값을 업데이트하십시오. 그렇지 않으면 CR에 대한 다음 업데이트에서 변경사항을 되돌립니다.
    # retrieve pxruntime cr
    oc get pxruntime
    
    # edit pxruntime cr
    oc edit pxruntime <cr-name>
    
    spec:
      ignoreForMaintenance: false  # set to true to ignore refresh
      scale:                                        # override the t-shirt size
        pxcompute:           
          replicas: 2
          resources:
            limits:
              cpu: 3
              memory: 8Gi
            requests:
              cpu: 1
              memory: 2Gi
        pxruntime:
          replicas: 2
          resources:
            limits:
              cpu: 2
              memory: 4Gi
            requests:
              cpu: 500m
              memory: 2Gi