파이프라인 계획 수립

자원에 연결하고, 자산을 추가하고, 파이프라인에 자원을 관리하는 방법을 계획할 때 다음 고려사항을 검토하십시오.

파이프라인의 구성요소에 액세스

파이프라인을 사용하여 플로우를 자동화하는 경우 파이프라인의 모든 요소에 대한 액세스 권한이 있어야 합니다. 파이프라인에서 사용되는 모든 자산, 프로젝트 및 영역에 대한 적절한 액세스 권한으로 파이프라인을 작성하고 실행해야 합니다. 파이프라인을 실행하는 협업자도 파이프라인 구성요소에 액세스할 수 있어야 합니다.

파이프라인 신임 정보 관리

작업을 실행하려면 파이프라인에 Cloud Pak for Data 신임 정보에 대한 액세스 권한이 있어야 합니다. 일반적으로 파이프라인은 개인 API키를 사용하여 파이프라인에서 중단 없이 장기 실행 오퍼레이션을 실행합니다. 작업을 작성할 때 신임 정보를 사용할 수 없는 경우 API키를 제공하거나 새 키를 작성하도록 프롬프트가 표시됩니다.

yourIBM Cloud Pak for Data 사용자 계정에서 API키를 생성하려면 다음을 수행하십시오.

  1. 사용자 프로파일로 이동하십시오.
  2. API키 > 새 토큰 생성을 클릭하십시오.
  3. 사용자 계정에 대한 API키를 작성하거나 선택하십시오.

파이프라인에 자산 추가

파이프라인을 작성할 때 자산 (예: 데이터, 노트북, 배치 작업 또는 Data Refinery 작업) 을 파이프라인에 추가하여 순차 프로세스를 조정합니다. 파이프라인에 자산을 추가하기 위한 강력하게 권장되는 방법은 파이프라인을 포함하는 프로젝트에서 자산을 수집하고 자산 브라우저를 사용하여 파이프라인에 대한 프로젝트 자산을 선택하는 것입니다.

주의: 다른 프로젝트의 자산을 포함할 수 있지만 이를 수행하면 파이프라인에 복잡도와 잠재적 문제점이 발생할 수 있으며 향후 릴리스에서 금지될 수 있습니다. 현재 프로젝트의 자산을 사용하는 것이 좋습니다.

메모리 한계를 설정하여 자원 관리

Cloud Pak for Data 인스턴스의 메모리 크기 한계를 Redis 로 설정하여 메모리 초과 사용을 방지하십시오. 권장되는 메모리 크기는 최대 병렬 실행 및 사용자 변수 크기 한계의 배수입니다. 예를 들어, 1000개의 병렬 파이프라인을 수용하고 사용자 변수 크기 한계가 256Ki인 경우 메모리 한계를 256Mi로 설정할 것을 고려하십시오.

기본 런타임 유형 업데이트

ConfigMap을 업데이트하여 노드의 기본 런타임 유형을 업데이트할 수 있습니다.

ConfigMap watson-pipelines-config을 여십시오. 그리고 default_runtime_type 값을 다음으로 업데이트하십시오.

  • shared 는 기본적으로 공유 런타임을 사용하도록 노드를 설정합니다.
  • standalone 는 노드가 독립형 런타임을 사용하도록 기본 설정합니다.

예제는 다음과 같습니다.

oc -n cpd-instance get cm watson-pipelines-config  -o yaml
apiVersion: v1
data:
  default_runtime_type: shared
  shutdown: "false"
  user_variables_size_limit: 64Ki
kind: ConfigMap

ConfigMap 에 대한 업데이트는 새 노드에만 영향을 줍니다. 기존 노드는 영향을 받지 않습니다.