ONNX形式に変換されたモデルの展開

モデルを ONNX の実行環境に変換するメリット

モデルを ONNX の実行環境に変換すると、特に機械学習やディープラーニングのアプリケーションでは、いくつかの利点があります。 モデルを ONNX ランタイムに変換する利点の一部は以下の通りです

• クロスプラットフォームの互換性 ： ONNX は機械学習モデルを表現するための標準フォーマットを提供しており、 PyTorch や Tensorflow などの異なるフレームワークにモデルを展開しやすくなります。 1つのフレームワークでモデルをトレーニングし、 ONNX ランタイムをサポートする別のフレームワークにデプロイすることができます。

• パフォーマンスの向上 ： ONNX ランタイムは、グラフ最適化など、さまざまなハードウェアおよびソフトウェア固有の最適化を適用することで、推論用のモデルを最適化します。 また、CPUやGPUなど多様なハードウェア上での実行をサポートし、リソースの効率的な利用を保証する。

• 相互運用性 ： ONNX は、 PyTorch,、 TensorFlow,、scikit-learnなどのモデルを1つのフレームワークでトレーニングし、別の環境で実行するためにエクスポートする方法を提供しており、これによりワークフローが効率化されます。 異なるディープラーニングフレームワーク間の垣根を取り払い、開発者が単一のエコシステムに縛られることなく、異なるライブラリの長所を活用できるようにする。

変換に対応したフレームワーク

以下のフレームワークを使用する機械学習モデルを ONNX 形式に変換できます

1. PyTorch
2. TensorFlow
3. CatBoost
4. LightGBM
5. XGBoost
6. Scikit-learn

PyTorch モデルを ONNX 形式に変換する

PyTorch でトレーニングしたモデルを ONNX 形式に変換するには、以下の手順に従います

1. ライブラリをインポートします：モデルを実行するための onnxruntime 、 PyTorchの機能を提供する torch 、その他アプリケーションに必要なライブラリなど、必要なライブラリをインポートすることから始めます。

2. PyTorch モデルを作成またはダウンロードする: 独自のデータセットを使用して PyTorch モデルを作成することも、 Hugging Face のような外部オープンソースモデルリポジトリが提供するモデルを使用することもできます。

3. PyTorch モデルをONNX形式に変換する ： PyTorch モデルをONNX形式に変換するには：

   a. モデルを準備する ： PyTorch モデルが model.eval() 機能を使用して評価モードになっていることを確認してください。 モデルの形状に合わせてダミーの入力テンソルが必要になるかもしれない。

   b. モデルをエクスポートする ： torch.onnx.export 機能を使用して、モデルをONNX形式に変換します。

4. 変換を検証する ：モデルを変換した後、 onnx ライブラリを使用して、モデルが期待通りに機能していることを確認します。

TensorFlow モデルを ONNX 形式に変換する

モデル TensorFlow をONNX形式に変換するには、以下の手順に従います

1. ライブラリのインポート ：まず、 TensorFlow モデルをONNXに変換する際に必要な tf2onnx などの必須ライブラリ、およびアプリケーションに必要なその他のライブラリをインポートします。

2. TensorFlow モデルのダウンロード ：外部で作成された TensorFlow モデルと、モデルのトレーニングに使用されるデータをダウンロードする必要があります。

3. TensorFlow モデルをONNX形式に変換する ： tf2onnx.convert コマンドを使用して、 SavedModel 形式で作成された TensorFlow モデルを ONNX 形式に変換します。 TensorFlow Lite モデルを変換したい場合は、 --saved-model フラグではなく、 --tflite フラグを使用してください。

4. 変換を検証する ：モデルを変換した後、 onnx ライブラリを使用して、モデルが期待通りに機能していることを確認します。

CatBoost モデルをONNX形式に変換する

CatBoost でトレーニングしたモデルをONNX形式に変換するには、以下の手順に従います

1. ライブラリのインポート : 次のような必須ライブラリをインポートすることから始めます。 onnxruntime モデルを実行するために、 catboost のために CatBoost アプリケーションに必要な機能やその他のライブラリ。

2. CatBoost モデルを作成またはダウンロードする: 独自のデータセットを使用して CatBoost モデルを作成することも、 Hugging Face などの外部オープンソースモデルリポジトリが提供するモデルを使用することもできます。

3. CatBoost モデルを ONNX 形式に変換する ： CatBoost モデルを ONNX 形式に変換する：

   a. ロードする CatBoost モデル : CatBoost 次のようなライブラリを使用してモデル化する pickle:

   catboost_model = pickle.load(file)
   

   b. モデルをエクスポートする ：フォーマットパラメータを onnx に設定した catboost_model.save_model 機能を使用して、モデルを ONNX フォーマットに変換します。

   catboost_model.save_model(
       onnx_model_name,
       format="onnx",
       export_parameters={
           'onnx_domain': 'ai.catboost',
           'onnx_model_version': 1,
           'onnx_doc_string': 'test model for Regressor',
           'onnx_graph_name': 'CatBoostModel_for_Regression'
       }
   )
   

4. 変換を検証する ：モデルを変換した後、 onnx ライブラリを使用して、モデルが期待通りに機能していることを確認します。

LightGBM モデルをONNX形式に変換する

LightGBM でトレーニングしたモデルを ONNX 形式に変換するには、以下の手順に従います

1. ライブラリのインポート : 次のような必須ライブラリをインポートすることから始めます。 onnxruntime モデルを実行するために、 lightgbm のために LightGBM 機能、および onnxmltools アプリケーションに必要な変換およびその他のライブラリ。

2. LightGBM モデルを作成またはダウンロードする: 独自のデータセットを使用して LightGBM モデルを作成することも、 Hugging Face のような外部オープンソースモデルリポジトリが提供するモデルを使用することもできます。

3. LightGBM モデルを ONNX 形式に変換する ： LightGBM モデルを ONNX 形式に変換する：

   a. ロードする LightGBM モデル : LightGBM 次のようなライブラリを使用してモデル化する pickle:

   lgbm_model = pickle.load(file)
   

   b. モデルをエクスポートする ： convert_lightgbm 機能を使用して、モデルを ONNX 形式に変換します。

   from onnxmltools import convert_lightgbm
   from skl2onnx.common.data_types import FloatTensorType
   from onnxmltools.utils import save_model      
   
   initial_types = [("float_input", FloatTensorType([None, X.shape[1]]))]
   onnx_model = convert_lightgbm(model=lgbm_model, initial_types=initial_types)
   onnx_model_filename = "lgbm_model.onnx"
   save_model(onnx_model, onnx_model_filename)
   

   ヒント：

   LightGBM モデルを ONNX 形式に変換する際のトラブルシューティングについては、「 watsonx.ai ランタイムのトラブルシューティング」 を参照してください。

4. 変換を検証する ：モデルを変換した後、 onnx ライブラリを使用して、モデルが期待通りに機能していることを確認します。

XGBoost モデルを ONNX 形式に変換する

XGBoost でトレーニングしたモデルを ONNX 形式に変換するには、以下の手順に従います

1. ライブラリのインポート : 次のような必須ライブラリをインポートすることから始めます。 onnxruntime モデルを実行するために、 xgboost のために XGBoost アプリケーションに必要な機能やその他のライブラリ。

2. XGBoost モデルを作成またはダウンロードする: 独自のデータセットを使用して XGBoost モデルを作成することも、 Hugging Face のような外部オープンソースモデルリポジトリが提供するモデルを使用することもできます。

3. XGBoost モデルをONNX形式に変換する ： XGBoost モデルをONNX形式に変換するには：

   a. ロードする XGboost モデル : XGBoost 次のようなライブラリを使用してモデル化する pickle:

   xgboost_model = pickle.load(file)
   

   b. モデルをエクスポートする ： convert_xgboost 機能を使用して、モデルを ONNX 形式に変換します。

   from onnxmltools import convert_xgboost
   from onnxconverter_common.data_types import FloatTensorType
   from onnxmltools.utils import save_model
   
   initial_types = [("float_input", FloatTensorType([None, X.shape[1]]))]
   onnx_model = convert_xgboost(xgboost_model, initial_types=initial_types)
   onnx_model_filename = "xgboost_onnx_model.onnx"
   save_model(onnx_model, onnx_model_filename)
   

4. 変換の確認 ：モデルを変換した後、onnxライブラリを使用して、モデルが期待通りに機能していることを確認します。

scikit-learn モデルを ONNX 形式に変換する

scikit-learn でトレーニングしたモデルを ONNX 形式に変換するには、以下の手順に従います

1. ライブラリのインポート : 次のような必須ライブラリをインポートすることから始めます。 onnxruntime モデルを実行するために、 sklearn のために scikit-learn 機能、 skl2onnx アプリケーションに必要な変換およびその他のライブラリ。

2. scikit-learn モデルを作成またはダウンロードする: 独自のデータセットを使用して scikit-learn モデルを作成することも、 Hugging Face のような外部オープンソースモデルリポジトリが提供するモデルを使用することもできます。

3. scikit-learn モデルをONNX形式に変換する ： scikit-learn モデルを ONNX 形式に変換する：

   a. ロードする scikit-learn モデル : scikit-learn 次のようなライブラリを使用してモデル化する pickle:

   sklearn_model = pickle.load(file)
   

   b. モデルをエクスポートする ： to_onnx 機能を使用して、モデルを ONNX 形式に変換します。

   from skl2onnx import to_onnx
   onnx_model = to_onnx(sklearn_model, X, target_opset=19)
   
   with open("sklearn_model.onnx", "wb") as f:
      f.write(onnx_model.SerializeToString())
   

4. 変換を検証する ：モデルを変換した後、 onnx ライブラリを使用して、モデルが期待通りに機能していることを確認します。

ONNX 形式に変換したモデルの展開

onnxruntime_opset_19 ソフトウェア仕様を使用して、 ONNX 形式に変換した機械学習モデルを展開します。 モデルを watsonx.ai のランタイムリポジトリに保存する際には、ソフトウェアの仕様とモデルタイプを指定する必要があります。 詳細は、 サポート対象ソフトウェアの仕様をご覧ください。

ユーザーインターフェースから ONNX 形式に変換したモデルを展開するには、以下の手順に従います

1. デプロイメント スペースで、[ アセット] タブに移動します。

2. アセットリストでモデルを見つけ、メニューアイコン Menu アイコンをクリックし、 Deploy を選択します。

3. モデルの展開タイプを選択します。 オンラインと バッチの展開オプションを選択できます。

4. 配置の名前を入力し、オプションでサービング名、説明、タグを入力します。

   注:

   • 配置 ID の代わりに配置名を指定するには、[配置名]フィールドを使用します。
   • サービング名は名前空間内で一意でなければならない。
   • サービング名には、以下の文字のみを含める必要があります： a-z,0-9,_]で、最大36文字です。
   • カスタム基盤モデルを定期的に使用するワークフローでは、モデルをデプロイするたびに同じサーバー名を割り当てることを検討してください。 こうすることで、モデルを削除して再デプロイした後も、コード内で同じエンドポイントを使い続けることができます。

5. お使いのモデルのハードウェア仕様を選択してください。

6. お使いのモデルの構成とソフトウェア仕様を選択してください。

7. 「作成」 をクリックします。

モデルのテスト

以下の手順に従って、ONNX形式に変換された配置済みモデルをテストしてください：

1. 配置スペースで[ 配置] タブを開き、配置名をクリックします。
2. テスト]タブをクリックして、プロンプトのテキストを入力し、配置された資産からの応答を取得します。
3. 配置した資産のタイプに応じて、以下のいずれかの形式でテストデータを入力します：
   • テキスト ：テキスト入力データを入力し、出力としてテキストブロックを生成する。
   • JSON ：JSON形式の出力を生成するためにJSON入力データを入力します。
4. プロンプトに基づいた結果を得るには、［ 生成］をクリックします。

サンプル・ノートブック

次のサンプルノートブックでは、 PyTorch または TensorFlow から ONNX 形式に変換した機械学習モデルを、 Python クライアントライブラリを使用して展開する方法を示しています