AWS 上の Red Hat OpenShift クラスターへの GPU ワーカー・ノードの追加

始める前に

以下の要件があることを確認してください。

GPU ワーカーノードがRed Hat® OpenShift®クラスターに追加されます。. 現在のAWS Maximo® Application SuiteBYOL製品には、GPUを搭載したノードは含まれていません。
制御シェル。

制御シェルはブート・ノードにすることができます。すべてのインスタンスのリストの後にある EC2 ダッシュボードでコントロール・シェルを見つけます。ブート・ノードが停止状態の場合は、インスタンスを再始動します。このインスタンスに EC2-userとして接続します。
ヒント: Visual Studio Code を使用してブート・ノードにリモート接続できますが、これは必要ありません。

oc jq
適切な EC2 GPU インスタンスが選択されており、 Maximo Application Suite インスタンスがインストールされている地域で十分な可用性があります。

この情報は、 AWS コンソールの EC2 サービスの後にあるインスタンス・タイプ・ページから取得します。

例えば、 Maximo Application Suite インスタンスを us-east-1 領域にデプロイした場合は、 AWS Web サイトにナビゲートして、その領域の EC2 インスタンス・タイプ・ページに移動します。「インスタンス・タイプ」ページには、コンピュート、ネットワーキング、ストレージ、アクセラレーター、および料金情報の詳細が表示されます。ネットワーキング・セクションは、アベイラビリティー・ゾーンの詳細を示します。

このタスクについて

このタスクのプロセスについて詳しくは、以下を参照してください。

AWS 推奨される GPU インスタンス
注: AWS は、GPU に付属の EC2 インスタンスを提供しています。 MVC の EC2 インスタンス・タイプとして p3.2xlarge を使用します。
AWS
AWS

手順

制御シェルで、 masocpuser (または kubeadmin) としてログインします。
openshift-machine-api 名前空間に切り替えます。
```
oc project openshift-machine-api
```
注:
名前空間が切り替えられていない場合は、 -n フラグを使用し、後続のステップで openshift-machine-api を引数として指定します。
クラスター内の使用可能なマシンをリストします。
```
oc get machineset -o name
```
新しい GPU ワーカー・ノードの YAML カスタム・リソースのテンプレートとして適切なマシン・セットを選択します。新規ノードの作成に使用する GPU EC2 インスタンス・タイプと同じアベイラビリティー・ゾーンにあるマシン・セットを選択します。
例えば、 p3.2xlarge が us-east-1bで使用可能な場合、名前の一部として us-east-1b を持つマシン・セットを選択します。

テンプレート・マシン・セット名に変数を割り当てます。

例えば、


SOURCE_MACHINESET=machine set.machine.openshift.io/masocp-4kyowr-mm5b5-worker-us-east-1b

ソース・マシン・セットのカスタム・リソースを新規ファイルにコピーします。
```
oc get -o json  $SOURCE_MACHINESET  | jq -r > source-machineset.json
```
注: ファイル source-machineset.json は現行フォルダーに作成されます。

後で使用する変数を定義します。


OLD_MACHINESET_NAME=$(jq '.metadata.name' -r source-machineset.json)


NEW_MACHINESET_NAME=${OLD_MACHINESET_NAME/worker/worker-gpu}

instanceType を変更し、必要に応じてレプリカの数を変更します。一部のメタデータを削除し、結果のコードを新規ファイル gpu-machineset.jsonにコピーします。このファイルは、GPU を使用して新規マシン・セットを作成するために使用されます。
```
jq -r '.spec.template.spec.providerSpec.value.instanceType = "p3.2xlarge"
  | .spec.replicas = 1
  | del(.metadata.selfLink)
  | del(.metadata.uid)
  | del(.metadata.creationTimestamp)
  | del(.metadata.resourceVersion)
  ' source-machineset.json > gpu-machineset.json
```

gpu-machineset.jsonでマシン・セット名を変更します。


sed -i "s/$OLD_MACHINESET_NAME/$NEW_MACHINESET_NAME/g" gpu-machineset.json

diff コマンドを実行して、変更を確認します。
```
diff -Nuar source-machineset.json gpu-machineset.json
```
詳しくは、 Install & use GPU on AWSを参照してください。
availabilityZone の値を確認します ( spec.template.spec.providerSpec.value.placementの下にあります)。新しいインスタンス・タイプ (p3.2xlarge) の可用性ゾーンが同じであることを確認してください。そうでない場合は、JSON ファイルから availability キーと値のペアを省略できます。そうでない場合は、マシン・セットの作成後にエラーが表示されます。詳しくは、このタスクの最後にあるトラブルシューティングのセクションを参照してください。

マシン・セットを作成します。


oc create -f gpu-machineset.json

出力例

machineset.machine.openshift.io/masocp-4kyowr-mm5b5-worker-gpu-us-east-1b が作成されました

マシン・セットが作成されたことを確認します。


oc get machineset

出力例

名前希望現行作動可能経過時間
masocp-4kyowr-mm5b5-worker-gpu-us-east-1b 1 10s
masocp-4kyowr-mm5b5-worker-us-east-1a 3 3 3 7d8h
masocp-4kyowr-mm5b5-worker-us-east-1b 2 2 2 7d8h
masocp-4kyowr-mm5b5-worker-us-east-1c 2 2 2 7d8h
masocp-4kyowr-mm5b5-workerocs-us-east-1a 1 1 1 7d7h
masocp-4kyowr-mm5b5-workerocs-us-east-1b 1 1 1 7d7h
masocp-4kyowr-mm5b5-workerocs-us-east-1c 1 1 1 7d7h

注: 出力には、新しい GPU ノードが作成されたが、まだ準備ができておらず、使用可能になっていないことが示されています。

状況を表示するマシンのリストを取得します。


oc get machine

出力例

名前フェーズ・タイプ領域ゾーン存続期間                                             
masocp-4kyowr-mm5b5-master-0 m5.2xlarge us-east-1 us-east-1a 7d8h の実行
masocp-4kyowr-mm5b5-master-1 m5.2xlarge us-east-1 us-east-1b 7d8h の実行
masocp-4kyowr-mm5b5-master-2 m5.2xlarge us-east-1 us-east-1c 7d8h の実行
masocp-4kyowr-mm5b5-master-3 m5.2xlarge us-east-1 us-east-1a 7d8h を実行します。
masocp-4kyowr-mm5b5-master-4 m5.2xlarge us-east-1 us-east-1b 7d8h の実行
masocp-4kyowr-mm5b5-worker-gpu-us-east-1b-nrr4n p3.2xlarge us-east-1 us-east-1b 22s のプロビジョニング
masocp-4kyowr-mm5b5-worker-us-east-1a-kx449 m5.4xlarge us-east-1 us-east-1a 7d8h を実行する
masocp-4kyowr-mm5b5-worker-us-east-1a-nn72q m5.4xlarge us-east-1 us-east-1a 7d8h の実行
masocp-4kyowr-mm5b5-worker-us-east-1a-p5nqf m5.4xlarge us-east-1 us-east-1a 7d8h の実行
masocp-4kyowr-mm5b5-worker-us-east-1b-7r5wz m5.4xlarge us-east-1 us-east-1b 7d8h の実行
masocp-4kyowr-mm5b5-worker-us-east-1b-94khr m5.4xlarge us-east-1 us-east-1b 7d8h の実行
masocp-4kyowr-mm5b5-worker-us-east-1c-fvv52 m5.4xlarge us-east-1 us-east-1c 7d8h の実行
masocp-4kyowr-mm5b5-worker-us-east-1c-rsnwf m5.4xlarge us-east-1 us-east-1c 7d8h
masocp-4kyowr-mm5b5-workerocs-us-east-1a-hwb4m m5.4xlarge us-east-1 us-east-1a 7d7h を実行
masocp-4kyowr-mm5b5-workerocs-us-east-1b-979w8 m5.4xlarge us-east-1 us-east-1b 7d7h の実行
masocp-4kyowr-mm5b5-workerocs-us-east-1c-85ktb m5.4xlarge us-east-1 us-east-1c 7d7h を実行

マシン・セットのプロビジョニングが完了すると、 oc get machineset の出力は以下の例のようになります。

出力例

名前希望する現行作動可能使用可能存続期間
masocp-4kyowr-mm5b5-worker-gpu-us-east-1b 1 1 1 3m38s
masocp-4kyowr-mm5b5-worker-us-east-1a 3 3 3 3 7d8h
masocp-4kyowr-mm5b5-worker-us-east-1b 2 2 2 7d8h
masocp-4kyowr-mm5b5-worker-us-east-1c 2 2 2 2 7d8h
masocp-4kyowr-mm5b5-workerocs-us-east-1a 1 1 1 1 7d7h
masocp-4kyowr-mm5b5-workerocs-us-east-1b 1 1 1 7d7h
masocp-4kyowr-mm5b5-workerocs-us-east-1c 1 1 1 7d7h

oc get machine コマンドを実行します。出力には、マシンがプロビジョンされたことが示されます。

出力例

名前フェーズ・タイプ領域ゾーン存続期間
...
masocp-4kyowr-mm5b5-master-3 m5.2xlarge us-east-1 us-east-1a 7d8h を実行します。
masocp-4kyowr-mm5b5-master-4 m5.2xlarge us-east-1 us-east-1b 7d8h の実行
masocp-4kyowr-mm5b5-worker-gpu-us-east-1b-nrr4n プロビジョン済み p3.2xlarge us-east-1 us-east-1b 107s
masocp-4kyowr-mm5b5-worker-us-east-1a-kx449 m5.4xlarge us-east-1 us-east-1a 7d8h を実行する
...

注: 「コンピュート」 > 「ノード」をクリックするか、「コンピュート」 > 「マシン・セット」をクリックして、 Red Hat OpenShift コンソールを確認することもできます。

次の作業

プロセスが正常に完了したこと、またはエラーが発生したことを確認するには、 openshift-machine-api 名前空間でコマンドを実行してください。

次に、コマンド oc create -f <machine set custom resource> を実行します (ステップ 12)。出力は常に、マシンが作成されたことを示します。ただし、マシンの作成中に障害が発生した場合、マシン・セットは準備ができておらず、使用できません。 oc get machine を実行すると、即時に障害を示すことができます。

oc get machine コマンドを実行します。出力には、マシンがプロビジョンされたことが示されます。

出力例

名前フェーズ・タイプ領域ゾーン存続期間
masocp-qxkeml-wh7px-master-0 m5.2xlarge us-east-1 us-east-1a 18h の実行
masocp-qxkeml-wh7px-master-1 m5.2xlarge us-east-1 us-east-1b 18h を実行します。
masocp-qxkeml-wh7px-master-2 m5.2xlarge us-east-1 us-east-1c 18h を実行します。
masocp-qxkeml-wh7px-worker-gpu-us-east-1a-5z7sd 失敗 4s
masocp-qxkeml-wh7px-worker-gpu-us-east-1a-nhldx 失敗 20s
masocp-qxkeml-wh7px-worker-us-east-1a-h2c8g m5.4xlarge us-east-1 us-east-1a 18h
masocp-qxkeml-wh7px-worker-us-east-1a-p7mt9 m5.4xlarge us-east-1 us-east-1a 18h の実行
masocp-qxkeml-wh7px-worker-us-east-1b-4rlrq m5.4xlarge us-east-1 us-east-1b 18h
masocp-qxkeml-wh7px-worker-us-east-1b-dhv6g m5.4xlarge us-east-1 us-east-1b 18h の実行
masocp-qxkeml-wh7px-worker-us-east-1c-ks85p m5.4xlarge us-east-1 us-east-1c 18h
masocp-qxkeml-wh7px-workerocs-us-east-1a-9r6pj m5.4xlarge us-east-1 us-east-1a 17h
masocp-qxkeml-wh7px-workerocs-us-east-1b-p9psl m5.4xlarge us-east-1 us-east-1b 17h
masocp-qxkeml-wh7px-workerocs-us-east-1c-94d7q m5.4xlarge us-east-1 us-east-1c 17h を実行します。

失敗の理由を確認するには、 oc describe machine <machine name> または oc describe machineset <machineset name> を実行し、「状況」または「イベント」の後にリストされているエラー・メッセージを確認します。

ステータス:
  条件:
    最終遷移時刻: 2022-05-26T15:20:25Z
    メッセージ: インスタンスが作成されていません
    理由：InstanceNotCreated
    重大度: 警告
    状況: False
    タイプ: InstanceExists
  エラー・メッセージ: インスタンスの起動中にエラーが発生しました。要求されたインスタンス・タイプ (p3.2xlarge) は、要求されたアベイラビリティー・ゾーン (us-east-1a) ではサポートされていません。 アベイラビリティー・ゾーンを指定しないか、 us-east-1b、 us-east-1c、 us-east-1d、 us-east-1fを選択して、要求を再試行してください。
  エラーの理由: InvalidConfiguration
  最終更新日: 2022-05-26T15:20:26Z
  フェーズ: 失敗
  プロバイダー状況:
    条件:
      最終プローブ時刻: 2022-05-26T15:20:26Z
      最終遷移時刻: 2022-05-26T15:20:26Z
      メッセージ: インスタンスの起動中にエラーが発生しました。要求されたインスタンス・タイプ (p3.2xlarge) は、要求されたアベイラビリティー・ゾーン (us-east-1a) ではサポートされていません。 アベイラビリティー・ゾーンを指定しないか、 us-east-1b、 us-east-1c、 us-east-1d、 us-east-1fを選択して、要求を再試行してください。
      理由               MachineCreationFailed
      状況: False
      タイプ: MachineCreation
イベント:
  Type     Reason        Age   From            Message
  ----     ------        ----               ----           -------
  警告 FailedCreate 52s (x2 over 53s) awscontroller masocp-qxkeml-wh7px-worker-gpu-us-east-1a-5z7sd: リコンサイラーがマシンの作成に失敗しました: インスタンスの起動に失敗しました: インスタンスの起動中にエラーが発生しました: 要求されたインスタンス・タイプ (p3.2xlarge) は、要求されたアベイラビリティー・ゾーン (us-east-1a) ではサポートされていません。 アベイラビリティー・ゾーンを指定しないか、 us-east-1b、 us-east-1c、 us-east-1d、 us-east-1fを選択して、要求を再試行してください。

この場合、マシン・セットを削除できます。

 oc delete machineset <machineset name>

カスタム・リソースの availabilityZone 値を編集して、 oc create -f <customresource.json>を再実行します。ステップ 13にリストされているコマンドを使用して、マシン・セットおよびマシンの作成をモニターします。その他のタイプのエラーの場合は、マシン・セットを削除し、カスタム・リソースを編集し、編集したカスタム・リソース JSON ファイルを使用してマシン・セットを再作成します。