클러스터 노드에 이미지를 사전 Spark 가져오도록 Analytics Engine powered by Apache Spark 활성화

워크로드에 따라 클러스터를 자동으로 Spark 확장하려면 watsonx.data™ , Red Hat® OpenShift® Container Platform 클러스터 노드에 이미지를 미리 Spark 끌어오도록 Analytics Engine powered by Apache Spark 활성화해야 합니다.

설치 단계
  • 당신은 여기에 없습니다. 클라이언트 워크스테이션 설정
  • 당신은 여기에 없습니다. 클러스터 설정
  • 당신은 여기에 없습니다. 필요한 정보 수집
  • 당신은 여기에 없습니다. 제한된 네트워크에서 설치 실행 준비
  • 당신은 여기에 없습니다. 사설 컨테이너 레지스트리에서 설치 실행 준비
  • 현재 위치 아이콘. 클러스터 준비 IBM® Software Hub
  • 당신은 여기에 없습니다. 인스턴스 설치 준비 IBM Software Hub
  • 당신은 여기에 없습니다. 인스턴스 설치 IBM Software Hub
  • 당신은 여기에 없습니다. 설정하기 control plane
  • 당신은 여기에 없습니다. 솔루션 및 서비스 설치
누가 이 작업을 완료해야 합니까?

클러스터 관리자 이 작업을 완료하려면 클러스터 관리자여야 합니다.

이 작업을 언제까지 완료해야 합니까?

클러스터를 자동으로 Spark 확장하려면 watsonx.data 이 작업을 완료하십시오.

필요에 따라 반복하십시오. 클러스터에 여러 IBM Software Hub watsonx.data인스턴스를 설치할 계획이라면, 각 프로젝트에 클러스터 역할 바인딩을 적용해야 합니다.

시작하기 전에

증가하는 Spark 워크로드에 대응하여 추가 리소스를 자동으로 Red Hat OpenShift Container Platform 추가하도록 하려면, 이 작업을 완료하기 전에 클러스터 자동 확장기를 활성화할 수 있습니다.

모범 사례: 환경 변수를 설정하면 이 작업의 명령어를 작성된 그대로 실행할 수 있습니다. 정 방법에 대해서는 설치 환경 변수 설정을 참조하십시오.

이 작업의 명령어를 실행하기 전에 환경 변수를 반드시 설정하십시오.

이 태스크에 대한 정보

자동 스케일링은 워크로드가 리소스를 보다 효율적으로 Spark 사용하도록 합니다. 자동 스케일링이 활성화되면 Spark 클러스터는 사용량이 많은 시간대에 성능을 보장하기 위해 확장하고, 사용량이 적은 시간대에는 비용을 최소화하기 위해 축소할 수 있습니다.

클러스터가 Spark 자동으로 확장되도록 하려면 다음을 생성하여 클러스터 노드에 이미지를 사전 Spark 풀하도록 Analytics Engine powered by Apache Spark 활성화해야 합니다:

  • 노드를 가져오고, 나열하고, 감시하고, 업데이트할 수 Analytics Engine powered by Apache Spark 있게 하는 클러스터 역할.
  • 다음과 같은 작업자 프로젝트의 서비스 계정에 클러스터 역할을 부여하는 클러스터 역할 바인딩:
    • spark-hb-prepull-operator
    • spark-hb-imageprepull-controller

프로시저

이미지를 미리 Spark 끌어오도록 Analytics Engine powered by Apache Spark 활성화하려면:

  1. 클러스터 관리자로 Red Hat OpenShift Container Platform 에 로그인하십시오.
    ${OC_LOGIN}
  2. 다음과 같은 클러스터 역할을 prepull-operator 생성하십시오:
    cat <<EOF |oc apply -f -
    apiVersion: rbac.authorization.k8s.io/v1
    kind: ClusterRole
    metadata:
      name: prepull-operator
    rules:
      - apiGroups: [""]
        resources: ["nodes"]
        verbs: ["get", "list", "watch", "update"]
    EOF
  3. 역할을 서비스 spark-hb-prepull-operator 계정과 서비스 spark-hb-imageprepull-controller 계정에 바인딩합니다.
    cat <<EOF |oc apply -f -
    apiVersion: rbac.authorization.k8s.io/v1
    kind: ClusterRoleBinding
    metadata:
      name: prepull-operator
      namespace: ${PROJECT_CPD_INST_OPERANDS}
    subjects:
      - kind: ServiceAccount
        name: spark-hb-prepull-operator
        namespace: ${PROJECT_CPD_INST_OPERANDS}
      - kind: ServiceAccount
        name: spark-hb-imageprepull-controller
        namespace: ${PROJECT_CPD_INST_OPERANDS}
    roleRef:
      kind: ClusterRole
      name: prepull-operator
      apiGroup: rbac.authorization.k8s.io
    EOF

    클러스터가 자동으로 Spark 확장되도록 활성화하려는 각 프로젝트에 대해 이 단계를 반복하십시오.

    이 명령어를 여러 번 실행하는 경우, 매번 환경 PROJECT_CPD_INST_OPERANDS 변수를 올바른 프로젝트로 설정해야 합니다.

다음에 수행할 작업

필요한 클러스터 역할과 클러스터 역할 바인딩을 생성했으므로, 이제 에이전트 개발 도구킷과 함께 사용할 수 있도록 watsonx Orchestrate 이미지에 대한 액세스 권한을 활성화하는 작업을 완료할 준비가 되었습니다.

참고: 설치 watsonx.data후에는 클러스터가 자동으로 Spark 확장되도록 구성하려면 사용자 지정 Analytics Engine powered by Apache Spark 리소스를 편집해야 합니다. 자세한 내용은 클러스터의 자동 Spark 확장 활성화 항목을 참조하십시오.