저장 및 데이터 접근을 위한 IBM Orchestration Pipelines

파일과 데이터가 외부에 저장되는 위치를 IBMOrchestration Pipelines 파악하고, 이를 와 파이프라인 DataStage 간에 공유하세요.

스토리지 볼륨 시작하기

스토리지 볼륨은 프로젝트 및 배포 공간의 파일 저장소로 사용됩니다. 파일의 경로를 지정하십시오.

파이프라인 범위 지정

기본적으로 파이프라인의 범위는 해당 파이프라인을 포함하는 프로젝트입니다. 파이프라인에서 사용되는 자산을 찾기 위해 기본값 이외의 범위를 명시적으로 지정할 수 있습니다. 범위는 해당 자산을 포함하는 프로젝트, 카탈로그 또는 공간입니다.

파이프라인 캔버스에서 범위를 찾아볼 수 있습니다.

다음과 같이 노트북에서 범위를 자산에 대한 경로의 일부로 지정하십시오.

[cpd://]/(projects|spaces|catalogs)/<scope-id>/<resource-type>/<resource-ID>

여기서,

  • cpd://는 클러스터 또는 서버에 대한 URL 액세스 경로입니다 Cloud Pak for Data.
  • 범위 ID는 해당 자산을 포함하는 프로젝트, 공간 또는 카탈로그의 ID입니다.
  • resource-type은 사용 중인 리소스 유형의 이름입니다. 예를 들어, 모델을 리소스로 사용하는 경우.을 입력하십시오 models.
  • resource-id는 리소스의 ID입니다. 리소스 ID를 찾으려면 프로젝트에서 해당 리소스를 열고 정보 페이지를 엽니다.

와 DataStage 파이프라인 간 파일 공유

파이프라인은 추출된 파일을 읽거나 DataStage, 아카이브하거나, SCP를 실행하여 파일을 다른 위치로 이동시킬 수 있습니다.

시작하기 전에

  • 마운트하는 DataStage 지속적 볼륨 클레임(PVC)은 대용량 저장 공간(1~10TB)을 가져야 합니다.

    참고:

    PVC가 없다면 관리자에게 생성해 달라고 요청할 수 있습니다. 저장 볼륨 관리에 대한 자세한 내용은 해당 항목을 참조하십시오.

  • 사용 가능한 저장 공간 크기를 권장합니다.

  • 저장소는 격리되어야 합니다.

    • 네트워크 파일 시스템(NFS)에 지속적 볼륨(PV)을 마운트하면 서로 다른 보충 그룹을 가진 공통 지속적 볼륨을 사용할 수 있습니다.
    • 그렇지 않으면, 별도의 PV에 마운트된 여러 개의 DataStage 병렬 엔진( PX 런타임 ) 인스턴스를 사용하십시오. 환경에 DataStage 대해 자세히 알아보려면 환경을 DataStage 참조하십시오.

접근 PVC

DataStage 사용자가 접근 권한을 가진 PX 런타임 인스턴스에서 PVC를 반환하는 REST 엔드포인트를 제공할 수 있습니다.

파이프라인은 데이터 연결을 통해 파일 시스템을 자동으로 마운트합니다. 시스템 Cloud Pak for Data 관리자는 스토리지 볼륨을 설정하고 사용자가 필요한 PVC에 접근할 수 있는 파이프라인을 실행할 수 있도록 보장해야 합니다.

PVC에 장착 및 연결

PVC에 장착하고 연결하기 위한 필수 단계는 다음과 같습니다:

1단계: PVC(관리자) 장착

시스템 Cloud Pak for Data 관리자는 설치된 DataStage 동일한 클러스터에 스토리지 볼륨을 마운트하기 위해 다음 단계를 완료해야 합니다.

  1. 스토리지 볼륨을 열어 PVC 이름과 마운트 경로를 확인하십시오.
  2. 클러스터에 DataStage 로그인하십시오.
  3. 추가 저장소 필드에 마운트 경로와 PVC 이름을 추가하기 위해 파일을 pxruntime 편집하십시오.
  4. 다음 명령어로 포드를 재시작하십시오: oc edit pxruntimes.ds.cpd.ibm.com ds-px-defaul
  5. specs 아래에 additional_storage 섹션을 추가하십시오. 예를 들어: spec: additional_storage: - mount_path: /mnt s/ds-data pvc_name: volumes-ds-data-pvc
  6. 포드가 재시작되었는지 확인하십시오: oc get pods |grep px-default
  7. : mount_path을 추가하십시오. oc get pods ds-px-default-ibm-datastage-px-compute-1 -o yaml|grep ds-data

2단계: PVC(사용자)에 연결

저장 볼륨이 사용 가능한 경우, 다음 단계를 따라 볼륨에 연결하고 자산을 공유하십시오. DataStage:

  1. 프로젝트에서 스토리지 볼륨 연결을 생성하려면 새 자산 > 데이터 소스 연결 > 스토리지 볼륨을 클릭하세요. 저장 장치 연결을 참조하십시오.
  2. 파일 액세스를 위해 파이프라인의 다양한 DataStage, 노드를 사용할 수 있습니다:
    • 자산 복사 : 소스 자산을 클릭하고 저장 볼륨과 파일을 선택하세요.
    • 자산 가져오기 : 가져올 아카이브 파일을 클릭하고 저장 볼륨과 파일을 선택하세요.
    • 이메일 보내기 : 파일을 이메일에 첨부하세요. 첨부 파일을 클릭하고 저장 볼륨과 파일을 선택하세요.
    • 데이터 자산 생성 : 파일 메뉴를 클릭하고 저장 볼륨과 파일을 선택합니다.
    • 파일 대기 : 파일 위치를 클릭하고 저장 장치와 파일을 선택하세요.
팁: 저장소 볼륨 연결에 존재하는 모든 파일에 대해 다음 명령어를 포함한 bash 스크립트를 사용할 수 있습니다: `ls -al /mount path`