安装 Execution Engine for Apache Hadoop

实例管理员可以在版本 IBM® Software Hub 上 Execution Engine for Apache Hadoop 安装 5.3。

谁需要完成这项任务？

实例管理员要安装 Execution Engine for Apache Hadoop ，您必须是实例管理员。 实例管理员有权限在以下项目中安装软件：

实例的操作员项目

此实例 Execution Engine for Apache Hadoop 的操作符已安装在操作符项目中。

在安装命令中，环境变量 ${PROJECT_CPD_INST_OPERATORS} 指代操作员的项目。

实例的操作数项目

用于 和 control plane 的自定义 Execution Engine for Apache Hadoop 资源已安装在 operands 项目中。

在安装命令中，环境变量 ${PROJECT_CPD_INST_OPERANDS} 指代操作数项目。

你需要在什么时候完成这项任务？

请查看以下选项，以确定您是否需要完成此任务：

  • 若需同时安装多个服务，请改为遵循 《批量安装解决方案和服务》 中的流程。
  • 若您未在批量安装过程中 Execution Engine for Apache Hadoop 安装，请完成此任务以将添加 Execution Engine for Apache Hadoop 至您的环境。

    根据需要重复此操作如果您负责多个实例 IBM Software Hub，可以重复此任务在集群上安装 Execution Engine for Apache Hadoop 更多实例。

完成此任务所需的信息

安装前请仔细阅读 Execution Engine for Apache Hadoop 以下信息：

版本需求

与某个实例 IBM Software Hub 相关的所有组件都必须安装在同一版本中。 例如，如果 安装在 IBM Software Hubcontrol plane 版本 5.3.1 ，则必须将 Execution Engine for Apache Hadoop 安装在版本 5.3.1。

环境变量

本任务中的命令使用环境变量，因此您可以完全按照所写的命令运行。

  • 若您尚未拥有定义环境变量的脚本，请参阅 《设置安装环境变量》。
  • 要使用脚本中的环境变量，必须在本任务中运行命令之前加载这些环境变量。 例如，运行以下命令：
    source ./cpd_vars.sh
安全上下文约束

Execution Engine for Apache Hadoop 使用默认 Red Hat® OpenShift® Container Platform 的安全上下文约束。 restricted-v2

Common core services

Execution Engine for Apache Hadoop 需要。 IBM Software Hubcommon core services

如果 未 common core services 安装在实例的操作数项目中，则在安装 时会自动安装 common core servicesExecution Engine for Apache Hadoop 这些组件。 该 common core services 安装程序延长了安装完成所需的时间。

存储要求
安装时必须指定 Execution Engine for Apache Hadoop 存储类。 建议使用以下存储类。 然而，若您在集群中未使用这些存储类，请确保指定具有等效定义的存储类。
存储器 注意 存储类
OpenShift Data Foundation 安装服务时，请指定文件存储位置。 若您指定块存储，该服务将忽略此信息。 文件存储： ocs-storagecluster-cephfs
IBM Fusion Data Foundation 安装服务时，请指定文件存储位置。 若您指定块存储，该服务将忽略此信息。 文件存储： ocs-storagecluster-cephfs
IBM Fusion Global Data Platform 安装服务时，请指定文件存储位置。 若您指定块存储，该服务将忽略此信息。 文件存储：

以下任一存储类：

  • ibm-spectrum-scale-sc
  • ibm-storage-fusion-cp-sc
IBM Storage Scale Container Native 安装服务时，请指定文件存储位置。 若您指定块存储，该服务将忽略此信息。 文件存储： ibm-spectrum-scale-sc
Portworx 安装服务时，该 --storage_vendor=portworx 选项可确保服务使用正确的存储类。 文件存储： portworx-rwx-gp3-sc

（等同于 portworx-shared-gp3 旧版安装中的）
NFS 安装服务时，请指定文件存储位置。 若您指定块存储，该服务将忽略此信息。 文件存储： managed-nfs-storage
Amazon Elastic 存储 安装服务时，请指定文件存储位置。 若您指定块存储，该服务将忽略此信息。

文件存储由 Amazon Elastic File System. 提供。

 文件存储： efs-nfs-client
NetApp Trident 安装服务时，请指定文件存储位置。 若您指定块存储，该服务将忽略此信息。 文件存储： ontap-nas
Nutanix 安装服务时，请指定文件存储和块存储。
  • 文件存储： nutanix-file
  • 块存储： nutanix-volume

开始之前

此任务要求满足以下先决条件：

系统需求
此任务假定集群满足的最低要求 Execution Engine for Apache Hadoop。
在何处查找更多信息
如果此任务尚未完成，请参阅系统要求。
工作站
此任务假定您将用于运行安装的工作站已配置为客户端工作站，并具备以下命令行界面：
  • IBM Software Hub 命令行界面： cpd-cli
  • OpenShift 命令行界面： oc
  • Helm 命令行界面： helm
在何处查找更多信息
如果此任务尚未完成，请参阅设置客户端工作站。
控制平面
此任务假设 已安装 IBM Software Hubcontrol plane 。
在何处查找更多信息
如果此任务尚未完成，请参阅安装实例 Software HubIBM。
专用容器注册表
如果您的环境使用私有容器注册表（例如，您的集群处于空气隔离状态），则此任务假定以下任务已完成：
  1. Execution Engine for Apache Hadoop 软件镜像被镜像到私有容器注册表。
    在何处查找更多信息
    如果此任务尚未完成，请参阅《 将镜像镜像到私有容器注册表》。
  2. 该 cpd-cli 配置用于从私有容器注册表中拉取镜像 olm-utils-v4 。
    在何处查找更多信息
    如果此任务尚未完成，请参阅从私有容器注册表拉取镜像 olm-utils-v4。
簇作用域资源
此任务假定集群作用域资源（如自定义资源定义、集群角色和集群角色绑定）已存在。
在何处查找更多信息
如果此任务尚未完成，请参阅 《为 Software HubIBM 平台和服务创建集群范围资源 》。
映像提取私钥
此任务假设包含实例镜像拉取凭据的密钥已存在。
在何处查找更多信息
如果此任务尚未完成，请参阅 《为实例创建镜像拉取密钥 Software HubIBM 》。

必备服务

在安装之前，请确保以下服务 Execution Engine for Apache Hadoop 已安装并正在运行：

过程

完成以下任务以进行安装 Execution Engine for Apache Hadoop ：

  1. 安装服务
  2. 验证安装
  3. 下一步该做什么

安装服务

安装方法 Execution Engine for Apache Hadoop ：

  1. 登录 cpd-cli 到集群 Red Hat OpenShift Container Platform ：
    ${CPDM_OC_LOGIN}
    请记住： CPDM_OC_LOGIN 是一个别名，代表 命令 cpd-cli manage login-to-ocp 。
  2. 安装操作员和自定义资源。 Execution Engine for Apache Hadoop

    您运行的命令取决于集群中的存储。

    Red Hat OpenShift 数据基础存储 
    cpd-cli manage install-components \
--license_acceptance=true \
--components=hee \
--release=${VERSION} \
--operator_ns=${PROJECT_CPD_INST_OPERATORS} \
--instance_ns=${PROJECT_CPD_INST_OPERANDS} \
--block_storage_class=${STG_CLASS_BLOCK} \
--file_storage_class=${STG_CLASS_FILE} \
--image_pull_prefix=${IMAGE_PULL_PREFIX} \
--image_pull_secret=${IMAGE_PULL_SECRET}
    IBM 融合数据基础存储 
    cpd-cli manage install-components \
--license_acceptance=true \
--components=hee \
--release=${VERSION} \
--operator_ns=${PROJECT_CPD_INST_OPERATORS} \
--instance_ns=${PROJECT_CPD_INST_OPERANDS} \
--block_storage_class=${STG_CLASS_BLOCK} \
--file_storage_class=${STG_CLASS_FILE} \
--image_pull_prefix=${IMAGE_PULL_PREFIX} \
--image_pull_secret=${IMAGE_PULL_SECRET}
    IBM 融合全球数据平台存储
    请记住： 当使用 IBM Fusion Global Data Platform 存储时，和 ${STG_CLASS_BLOCK} 都 ${STG_CLASS_FILE} 指向相同的存储类，通常 ibm-spectrum-scale-sc 为或 ibm-storage-fusion-cp-sc。
    cpd-cli manage install-components \
--license_acceptance=true \
--components=hee \
--release=${VERSION} \
--operator_ns=${PROJECT_CPD_INST_OPERATORS} \
--instance_ns=${PROJECT_CPD_INST_OPERANDS} \
--block_storage_class=${STG_CLASS_BLOCK} \
--file_storage_class=${STG_CLASS_FILE} \
--image_pull_prefix=${IMAGE_PULL_PREFIX} \
--image_pull_secret=${IMAGE_PULL_SECRET}
    IBM Storage 容器原生存储
    请记住： 当使用 IBM Storage Scale Container Native 存储时，和 ${STG_CLASS_BLOCK} 都 ${STG_CLASS_FILE} 指向相同的存储类，通常为 ibm-spectrum-scale-sc。
    cpd-cli manage install-components \
--license_acceptance=true \
--components=hee \
--release=${VERSION} \
--operator_ns=${PROJECT_CPD_INST_OPERATORS} \
--instance_ns=${PROJECT_CPD_INST_OPERANDS} \
--block_storage_class=${STG_CLASS_BLOCK} \
--file_storage_class=${STG_CLASS_FILE} \
--image_pull_prefix=${IMAGE_PULL_PREFIX} \
--image_pull_secret=${IMAGE_PULL_SECRET}
    Portworx 存储器 
    cpd-cli manage install-components \
--license_acceptance=true \
--components=hee \
--release=${VERSION} \
--operator_ns=${PROJECT_CPD_INST_OPERATORS} \
--instance_ns=${PROJECT_CPD_INST_OPERANDS} \
--storage_vendor=portworx \
--image_pull_prefix=${IMAGE_PULL_PREFIX} \
--image_pull_secret=${IMAGE_PULL_SECRET}
    NFS 存储器
    请记住： 当使用 NFS 存储时，和 ${STG_CLASS_BLOCK} 都 ${STG_CLASS_FILE} 指向相同的存储类，通常为 managed-nfs-storage。
    cpd-cli manage install-components \
--license_acceptance=true \
--components=hee \
--release=${VERSION} \
--operator_ns=${PROJECT_CPD_INST_OPERATORS} \
--instance_ns=${PROJECT_CPD_INST_OPERANDS} \
--block_storage_class=${STG_CLASS_BLOCK} \
--file_storage_class=${STG_CLASS_FILE} \
--image_pull_prefix=${IMAGE_PULL_PREFIX} \
--image_pull_secret=${IMAGE_PULL_SECRET}
    AWS 仅存储 EFS
    请记住： 当使用 EFS 存储时，和 ${STG_CLASS_BLOCK} 都 ${STG_CLASS_FILE} 指向相同的存储类，通常为 efs-nfs-client。
    cpd-cli manage install-components \
--license_acceptance=true \
--components=hee \
--release=${VERSION} \
--operator_ns=${PROJECT_CPD_INST_OPERATORS} \
--instance_ns=${PROJECT_CPD_INST_OPERANDS} \
--block_storage_class=${STG_CLASS_BLOCK} \
--file_storage_class=${STG_CLASS_FILE} \
--image_pull_prefix=${IMAGE_PULL_PREFIX} \
--image_pull_secret=${IMAGE_PULL_SECRET}
    AWS 与 EFS 和 EBS 存储 
    cpd-cli manage install-components \
--license_acceptance=true \
--components=hee \
--release=${VERSION} \
--operator_ns=${PROJECT_CPD_INST_OPERATORS} \
--instance_ns=${PROJECT_CPD_INST_OPERANDS} \
--block_storage_class=${STG_CLASS_BLOCK} \
--file_storage_class=${STG_CLASS_FILE} \
--image_pull_prefix=${IMAGE_PULL_PREFIX} \
--image_pull_secret=${IMAGE_PULL_SECRET}
    NetApp Trident
    请记住： 当使用 NetApp Trident 存储时，和 ${STG_CLASS_BLOCK} 都 ${STG_CLASS_FILE} 指向相同的存储类，通常为 ontap-nas。
    cpd-cli manage install-components \
--license_acceptance=true \
--components=hee \
--release=${VERSION} \
--operator_ns=${PROJECT_CPD_INST_OPERATORS} \
--instance_ns=${PROJECT_CPD_INST_OPERANDS} \
--block_storage_class=${STG_CLASS_BLOCK} \
--file_storage_class=${STG_CLASS_FILE} \
--image_pull_prefix=${IMAGE_PULL_PREFIX} \
--image_pull_secret=${IMAGE_PULL_SECRET}

验证安装

Execution Engine for Apache Hadoop 当 install-components 命令返回时安装：
[SUCCESS]... The install-components command ran successfully

若需确认自定义资源状态为 Completed，可执行 命令 cpd-cli manage get-cr-status ：

cpd-cli manage get-cr-status \
--cpd_instance_ns=${PROJECT_CPD_INST_OPERANDS} \
--components=hee

下一步操作

  1. 完成. NET Framework Execution Engine for Apache Hadoop的安装后配置。

完成上述步骤后， Execution Engine for Apache Hadoop 即可使用。 要开始使用 Execution Engine for Apache Hadoop ，请参阅《 分析 Apache Hadoop 数据 》。