버전 에서 5.1 버전 Analytics Engine powered by Apache Spark 로 업그레이드 5.3

인스턴스 관리자는 버전 에서 5.1 버전 로 Analytics Engine powered by Apache Spark 업그레이드할 5.3 수 있습니다.

누가 이 작업을 완료해야 합니까?

인스턴스 관리자 업그레이드하려면 인스턴스 Analytics Engine powered by Apache Spark 관리자여야 합니다. 인스턴스 관리자는 다음 프로젝트의 소프트웨어를 관리할 권한이 있습니다:

인스턴스에 대한 운영자 프로젝트: 이 인스턴스의 연산자는 Analytics Engine powered by Apache Spark operators 프로젝트에 설치되어 있습니다. 업그레이드 명령어에서 환경 ${PROJECT_CPD_INST_OPERATORS} 변수 `$PATH`는 운영자의 프로젝트를 가리킵니다.
인스턴스에 대한 피연산자 프로젝트: 사용자 정의 리소스 와 control plane 는 operands Analytics Engine powered by Apache Spark 프로젝트에 설치됩니다. 업그레이드 명령어에서 환경 변수 ` ${PROJECT_CPD_INST_OPERANDS} $_`는 작업 대상 프로젝트를 가리킵니다.

이 작업을 언제까지 완료해야 합니까?

다음 옵션을 검토하여 이 작업을 완료해야 하는지 여부를 결정하십시오:

하나 이상의 서비스와 IBM Software Hubcontrol plane 함께 업그레이드하려면, 대신 IBMSoftware Hub 인스턴스 업그레이드 과정을 따르십시오.
업그레이드할 때 Analytics Engine powered by Apache SparkIBM Software Hubcontrol plane 업그레이드하지 않았다면, 이 작업을 완료하여 업그레이드하십시오 Analytics Engine powered by Apache Spark.
필요에 따라 반복하십시오. 여러 인스턴스를 관리하는 IBM Software Hub 경우, 이 작업을 반복하여 클러스터 내의 더 많은 Analytics Engine powered by Apache Spark 인스턴스를 업그레이드할 수 있습니다.

이 태스크를 완료하는 데 필요한 정보

업그레이드하기 전에 다음 Analytics Engine powered by Apache Spark 정보를 검토하십시오 :

버전 요구사항: 의 인스턴스와 연관된 모든 구성 IBM Software Hub 요소는 동일한 릴리스에서 설치되어야 합니다. 예를 들어, 가 버전 IBM Software Hubcontrol plane 인 5.3.1 경우, 를 버전 으로 Analytics Engine powered by Apache Spark5.3.1 업그레이드해야 합니다.

환경 변수

이 작업의 명령어는 환경 변수를 사용하므로, 작성된 그대로 정확히 실행할 수 있습니다.

환경 변수를 정의하는 스크립트가 없는 경우, 설치 환경 변수 설정을 참조하십시오.
스크립트에서 환경 변수를 사용하려면, 이 작업의 명령어를 실행하기 전에 환경 변수를 소스 처리해야 합니다. 예를 들면, 다음을 실행하십시오.
```
source ./cpd_vars.sh
```

시작하기 전에

이 작업은 다음의 전제 조건이 충족된다는 것을 가정합니다:

시스템 요구사항

이 작업은 클러스터가 최소 요구 사항을 충족한다고 Analytics Engine powered by Apache Spark 가정합니다.

자세한 정보를 찾을 위치
이 작업이 완료되지 않은 경우 시스템 요구 사항을 참조하십시오.

워크스테이션

이 작업은 업그레이드를 실행할 워크스테이션이 클라이언트 워크스테이션으로 설정되어 있으며 다음 명령줄 인터페이스를 갖추고 있다고 가정합니다:

IBM Software Hub CLI: cpd-cli
OpenShift® CLI: oc
Helm CLI: oc

자세한 정보를 찾을 위치
이 작업이 완료되지 않은 경우, 클라이언트 워크스테이션 업데이트를 참조하십시오.

제어 플레인

이 작업은 가 IBM Software Hubcontrol plane 업그레이드된 상태를 전제로 합니다.

자세한 정보를 찾을 위치
이 작업이 완료되지 않은 경우, 인스턴스 업그레이드하기를 IBMSoftware Hub 참조하십시오.

개인용 컨테이너 레지스트리

사용 중인 환경이 사설 컨테이너 레지스트리를 사용하는 경우(예: 클러스터가 에어갭 상태인 경우), 이 작업은 다음 작업들이 완료되었음을 전제로 합니다:

소프트웨어 Analytics Engine powered by Apache Spark 이미지는 사설 컨테이너 레지스트리에 미러링됩니다.
자세한 정보를 찾을 위치

이 작업이 완료되지 않은 경우, '이미지를 개인 컨테이너 레지스트리로 미러링하기'를 참조하십시오.
해당 구성은 사설 컨테이너 레지스트리에서 cpd-cli 이미지를 olm-utils-v4 가져오도록 설정되어 있습니다.
자세한 정보를 찾을 위치

이 작업이 완료되지 않은 경우, 사설 컨테이너 레지스트리에서 이미지 olm-utils-v4 가져오기를 참조하십시오.

클러스터 범위 리소스

자세한 정보를 찾을 위치
이 작업이 완료되지 않은 경우, '이미지를 개인 컨테이너 레지스트리로 미러링하기'를 참조하십시오.

자세한 정보를 찾을 위치
이 작업이 완료되지 않은 경우, 사설 컨테이너 레지스트리에서 이미지 olm-utils-v4 가져오기를 참조하십시오.

이 작업은 사용자 정의 리소스 정의, 클러스터 역할, 클러스터 역할 바인딩과 같은 클러스터 범위 리소스가 업데이트되었음을 가정합니다.

자세한 정보를 찾을 위치
이 작업이 완료되지 않은 경우, 플랫폼 및 서비스에 대한 클러스터 범위 리소스 업데이트를 참조하십시오.

이미지 풀 시크릿

이 작업은 인스턴스의 이미지 풀 자격 증명을 포함하는 시크릿이 존재한다고 가정합니다.

자세한 정보를 찾을 위치
이 작업이 완료되지 않은 경우, 인스턴스에 대한 이미지 풀 시크릿 IBMSoftware Hub 생성을 참조하십시오.

프로시저

업그레이드하려면 다음 Analytics Engine powered by Apache Spark 작업을 완료하세요:

설치 옵션 지정
서비스 업그레이드
업그레이드 검증
기존 서비스 인스턴스 업그레이드
다음에 무엇을 해야 할까

Analytics Engine powered by Apache Spark 매개변수

설치를 계획 Analytics Engine powered by Apache Spark중이라면, cpd-cli work 디렉터리(예: cpd-cli-workspace/olm-utils-workspace/work)에 라는 install-options.yml 이름의 파일에 다음 설치 옵션을 지정할 수 있습니다.

매개변수는 선택사항입니다. 이러한 설치 매개변수를 설정하지 않으면 기본값이 사용됩니다.

설치한 IBM Software Hub 버전에 맞는 지침을 따르십시오:

버전 5.3.1

샘플 YAML 콘텐츠는 기본값을 사용합니다.

5.3.1 그리고 이후 서식은 버전 5.3.1IBM Software Hub 에만 적용됩니다.

항목의 시작 부분에 구문을 --- 유지하여 이 항목이 별도의 문서로 처리되도록 합니다.

---
# ............................................................................
# Analytics Engine powered by Apache Spark parameters
# ............................................................................
non_olm:
  analyticsengine:

# ------------------------------------------------------------------------------
# Analytics Engine powered by Apache Spark service configuration parameters
# ------------------------------------------------------------------------------
   sparkAdvEnabled: true
   jobAutoDeleteEnabled: true
   kernelCullTime: 30
   imagePullParallelism: "40"
   imagePullCompletions: "20"
   kernelCleanupSchedule: "*/30 * * * *"
   jobCleanupSchedule: "*/30 * * * *"
   skipSelinuxRelabeling: false
   mountCustomizationsFromCchome: false

# ------------------------------------------------------------------------------
# Spark runtime configuration parameters
# ------------------------------------------------------------------------------
   maxDriverCpuCores: 5
   maxExecutorCpuCores: 5
   maxDriveMemory: "50g"
   maxExecutorMemory: "50g"
   maxNumWorkers: 50
   localDirScaleFactor: 10

버전 5.3.0

샘플 YAML 콘텐츠는 기본값을 사용합니다.

기본값 중 하나 이상을 재정의하려면, 파일의 install-options.yml 항목 analyticsengine: 아래 non_olm: 섹션에 매개변수를 추가하십시오.

# ............................................................................
# Analytics Engine powered by Apache Spark parameters
# ............................................................................
  analyticsengine:

# ------------------------------------------------------------------------------
# Analytics Engine powered by Apache Spark service configuration parameters
# ------------------------------------------------------------------------------
   sparkAdvEnabled: true
   jobAutoDeleteEnabled: true
   kernelCullTime: 30
   imagePullParallelism: "40"
   imagePullCompletions: "20"
   kernelCleanupSchedule: "*/30 * * * *"
   jobCleanupSchedule: "*/30 * * * *"
   skipSelinuxRelabeling: false
   mountCustomizationsFromCchome: false

# ------------------------------------------------------------------------------
# Spark runtime configuration parameters
# ------------------------------------------------------------------------------
   maxDriverCpuCores: 5
   maxExecutorCpuCores: 5
   maxDriveMemory: "50g"
   maxExecutorMemory: "50g"
   maxNumWorkers: 50
   localDirScaleFactor: 10

Analytics Engine powered by Apache Spark 서비스 구성 매개변수

서비스 구성 매개변수는 서비스의 Analytics Engine powered by Apache Spark 동작 방식을 결정합니다.

특성	설명
`sparkAdvEnabled`	작업 UI를 표시할지 여부를 지정하십시오. 기본값 `true` 유효한 값은 `false` 작업 UI를 표시하지 마십시오. `true` 작업 UI를 표시합니다.
`jobAutoDeleteEnabled`	작업이 또는 `FINISHED` 과 같은 최종 상태에 도달한 후 자동으로 `FAILED` 삭제할지 여부를 지정하십시오. 기본값은 true입니다. 기본값 `true` 유효한 값은 `true` 작업이 종단 상태에 도달한 후 삭제하십시오. `false` 종단 상태에 도달한 작업들을 유지한다.
`kernelCullTime`	유휴 커널이 유지되는 시간(분 단위). 기본값 `30` 유효한 값은 0보다 큰 정수.
`imagePullParallelism`	이미지를 Spark 병렬로 풀링하도록 예약된 포드 수. 예를 들어, 클러스터에 100개의 노드가 있다면 다음과 같이 설정하십시오: `analyticsengine_image_pull_completions: "100"` `analyticsengine_image_pull_parallelism: "150"` 이 예시에서는 최소 100개의 노드가 이미지를 성공적으로 끌어올 것이며, 150개의 포드가 병렬로 이미지를 끌어올 것입니다. 기본값 `"40"` 유효한 값은 1 이상인 정수. 이 값은 클러스터 규모가 매우 크고, 더 많은 병렬 풀 요청을 처리할 수 있는 충분한 네트워크 대역폭과 디스크 I/O를 확보한 경우에만 증가시켜야 합니다.
`imagePullCompletions`	이미지 풀 작업이 완료되기 위해 완료되어야 하는 포드 수. 예를 들어, 클러스터에 100개의 노드가 있다면 다음과 같이 설정하십시오: `analyticsengine_image_pull_completions: "100"` `analyticsengine_image_pull_parallelism: "150"` 이 예시에서는 최소 100개의 노드가 이미지를 성공적으로 끌어올 것이며, 150개의 포드가 병렬로 이미지를 끌어올 것입니다. 기본값 `"20"` 유효한 값은 1 이상인 정수. 이 값은 클러스터 규모가 매우 크고, 더 많은 병렬 풀 요청을 처리할 수 있는 충분한 네트워크 대역폭과 디스크 I/O를 확보한 경우에만 증가시켜야 합니다.
`kernelCleanupSchedule`	커널 정리 설정을 `analyticsengine_kernel_cull_time` `CronJob`재정의합니다. 기본적으로 커널 정리 작업은 `CronJob` 30분마다 실행됩니다. 기본값 `"/30 * * *"` 유효한 값은 스케줄 `CronJob` 구문을 사용하는 문자열.
`jobCleanupSchedule`	작업 정리 설정을 `analyticsengine_kernel_cull_time` `CronJob`재정의합니다. 기본적으로 작업 정리 기능은 `CronJob` 30분마다 실행됩니다. 기본값 `"/30 * * *"` 유효한 값은 스케줄 `CronJob` 구문을 사용하는 문자열.
`skipSelinuxRelabeling`	재라벨링을 SELinux 건너뛸지 여부를 지정하십시오. 이 기능을 사용하려면 필수 `MachineConfig` 및 `RuntimeClass` 정의를 생성해야 합니다. 자세한 내용은 특정 속성에 대한 활성화 `MachineConfig` 및 `RuntimeClass` 정의 항목을 참조하십시오. 기본값 `false` 유효한 값은 `false` 재라벨링을 SELinux 건너뛰지 마십시오. `true` 재라벨링을 SELinux 건너뛰세요.
`mountCustomizationsFromCchome`	사용자 지정 드라이버를 활성화할지 여부를 지정하십시오. 이 드라이버들은 cc-home-pvc 디렉터리에서 마운트해야 합니다. Common core services 이 기능은 가 Cloud Pak for Datacommon core services 설치된 경우에만 사용할 수 있습니다. 기본값 `false` 유효한 값은 `false` 사용자 지정 드라이버를 사용해서는 안 됩니다. `true` 사용자 지정 드라이버를 활성화하려면.

Spark 런타임 구성 매개변수

런타임 구성 매개변수는 서비스가 Analytics Engine powered by Apache Spark 생성한 Spark 런타임의 동작 방식을 결정합니다.

특성	설명
`maxDriverCpuCores`	작업 Spark 드라이버에 할당할 CPU 수. 기본값 `5` 유효한 값은 1 이상인 정수.
`maxExecutorCpuCores`	작업 Spark 실행기에 할당할 CPU 수. 기본값 `5` 유효한 값은 1 이상인 정수.
`maxDriveMemory`	드라이버에 할당할 메모리 용량(기가바이트 단위). 기본값 `"50g"` 유효한 값은 1 이상인 정수.
`maxExecutorMemory`	실행기에 할당할 메모리 양(기가바이트 단위). 기본값 `"50g"` 유효한 값은 1 이상인 정수.
`maxNumWorker`	작업에 Spark 할당할 작업자(실행자라고도 함)의 수. 기본값 `50` 유효한 값은 1 이상인 정수.
`localDirScaleFactor`	노드에서 Spark 임시 디스크 크기를 계산하는 데 사용되는 숫자. 공식: `temp_disk_size = number_of_cpu * local_dir_scale_factor` 기본값 `10` 유효한 값은 1 이상인 정수.

서비스 업그레이드

업그레이드하려면 Analytics Engine powered by Apache Spark :

클러스터에 Red Hat® OpenShift Container Platform cpd-cli 로그인하십시오:
```
${CPDM_OC_LOGIN}
```
기억하세요: CPDM_OC_LOGIN 는 cpd-cli manage login-to-ocp 명령어의 별칭입니다.

. Analytics Engine powered by Apache Spark 에 대한 운영자 및 사용자 정의 리소스를 업데이트하십시오.

해당 운영자 및 사용자 정의 리소스를 Analytics Engine powered by Apache Spark 업데이트하려면 적절한 명령어를 실행하십시오.

기본 설치 (설치 옵션 없이)

cpd-cli manage install-components \
--license_acceptance=true \
--components=analyticsengine \
--release=${VERSION} \
--operator_ns=${PROJECT_CPD_INST_OPERATORS} \
--instance_ns=${PROJECT_CPD_INST_OPERANDS} \
--image_pull_prefix=${IMAGE_PULL_PREFIX} \
--image_pull_secret=${IMAGE_PULL_SECRET} \
--upgrade=true

사용자 지정 설치 (설치 옵션 포함)

cpd-cli manage install-components \
--license_acceptance=true \
--components=analyticsengine \
--release=${VERSION} \
--operator_ns=${PROJECT_CPD_INST_OPERATORS} \
--instance_ns=${PROJECT_CPD_INST_OPERANDS} \
--image_pull_prefix=${IMAGE_PULL_PREFIX} \
--image_pull_secret=${IMAGE_PULL_SECRET} \
--param-file=/tmp/work/install-options.yml \
--upgrade=true

업그레이드 검증

Analytics Engine powered by Apache Spark install-components 명령이 반환될 때 업그레이드됩니다:

[SUCCESS]... The install-components command ran successfully

사용자 지정 리소스 상태가 인지 확인하려면 다음 cpd-cli manage get-cr-statusCompleted 명령을 실행할 수 있습니다:

cpd-cli manage get-cr-status \
--cpd_instance_ns=${PROJECT_CPD_INST_OPERANDS} \
--components=analyticsengine

기존 서비스 인스턴스 업그레이드

업그레이드 후에는 관련 서비스 인스턴스를 Analytics Engine powered by Apache Spark Analytics Engine powered by Apache Spark 반드시 업그레이드해야 합니다.

시작하기 전에

서비스 인스턴스를 업그레이드할 워크스테이션에 프로필을 생성하십시오.

프로필은 다음 권한 중 하나를 가진 사용자와 IBM Software Hub 연결되어야 합니다:

서비스 인스턴스 생성 (can_provision)
서비스 인스턴스 관리 (manage_service_instances)

자세한 내용은 cpd-cli 관리 명령어를 사용하기 위한 프로필 생성을 참조하십시오.

절차

서비스 인스턴스를 업그레이드하려면:

cpd-cli service-instance upgrade \
--service-type=spark \
--profile=${CPD_PROFILE_NAME} \
--all

다음에 수행할 작업

스파크 런타임과 리소스 간에 안전하게 연결하기 위해 자체 서명 인증서 또는 CA 인증서를 사용한 경우, 업그레이드 후 해당 인증서를 스파크 Analytics Engine powered by Apache Spark 트러스트스토어에 다시 추가해야 합니다. 자세한 내용은 플랫폼에서 내부 서버에 연결하기 위한 CA 인증서 사용을 참조하십시오.
Analytics Engine powered by Apache Spark 사용할 준비가 되었습니다. 자세한 내용은 Spark를 사용한 분석 확장 항목을 참조하십시오.