モデル・リスクの管理

モデル・リスク管理ソリューションは、 AI モデルのライフサイクル全体の結果を測定し、組織が標準および規制に準拠するのに役立つモデル検証を実行するモデル評価とともに提供されます。

Watson OpenScale で分析を実行

モデル・リスク管理機能を設定して有効にすると、評価のサンプルを確認・比較することができます。 品質指標、公平性指標、およびドリフトの大きさをすべて網羅したモデル概要レポートをダウンロードできます。

MRM 要約ダッシュボード

  1. 洞察ダッシュボードから、モデル・デプロイメントのタイルをクリックします

  2. [アクション ] メニューから、以下の分析オプションのいずれかをクリックします：

    • すべての評価: 進行中の評価と完了した評価をすべてリストします
    • 比較: 最適なパフォーマンスを得るために、モデルを比較し、特に同じモデルのバージョンを比較します。
    • レポート PDF のダウンロード: モデル・サマリー・レポートを生成します。これには、すべての メトリック と、それらがそのようにスコアリングされた理由の説明が含まれます。

Watson OpenScale で新しいモデルを本番環境にデプロイする

最適なモデルを実動環境にプッシュします。 実動レコードを実動前モデルからインポートして作成します。 IBM （ OpenPages, ）でモデルのデプロイが承認されたら、そのモデルを本番環境に展開できます。

  1. モデル デプロイメント の状況を確認します。
  2. サンプル・ノートブックに戻り、セルを実行してモデルを実動環境に送信します。
  3. 実動モデルのデプロイメントのタイルが表示されるはずです。 通常の本番環境では、十分なデータが収集され、メトリクスの計算がトリガーされるまでの間は、最初は空の状態に見えます。 このノートパソコンはデータを追加し、モニターを実行するため、結果をすぐに確認することができます。

モデルの比較

モデル評価の詳細を表示すると、主要な メトリック を強調表示する行列グラフを使用してモデルを比較できます。 この機能を使用して、本番環境にデプロイするのに最適なモデルバージョンを見極めたり、改善が必要なモデルを特定したりできます。

[アクション ] メニューから [比較] を選択すると、モデルの監視に使用しているメトリクスのスコアを比較したグラフが生成されます。

今すぐ評価

アクション メニューから、 今すぐ評価 を選択して、テスト・データを評価します。 本番環境では、以下のいずれかの方法でテストデータをインポートできます：

  • ラベル付きテストデータを含む CSV ファイルをアップロードしてください
  • Cloud Object Storage または Db2 にある、ラベル付きテストデータを含む ` CSV ` ファイルに接続します

これらのインポート方法のいずれかを使用する場合、 Watson OpenScale がテストデータを採点するかどうかを設定できます。

データをスコアリングする場合は、フィーチャー列とラベル列を持つラベル付きテスト・データをインポートします。 テスト・データがスコアリングされ、予測値と確率値が _original_prediction 列と _original_probability 列としてフィードバック表に保管されます。

すでに採点済みのテストデータをインポートしたい場合は、 「テストデータのインポート」 パネルにあるチェック Test data includes model output ボックスを選択してください。 スコア付きの出力データとともに、特徴量とラベルの列を含むテストデータをインポートする必要があります。 テスト・データは再スコアリングされません。 予測値と確率値は、フィードバックテーブルの 列 _original_prediction と _original_probability 列に格納されます。

注:

  • アップロードするテストデータには、/transaction_id および record_timestamp record_id列を含めることもできます。これらは、オプション Test data includes model output が選択された場合に、ペイロードのログおよびフィードバックテーブルに追加されます。
  • 評価を行う前に、適切なスキーマを設定して、サブスクリプションが完全に有効になっていることを確認してください。
  • 「タスク資格情報を有効にする」 チェック・ボックスを選択します。 この設定は、評価ジョブを安全に実行するための許可を必要とするすべてのサブスクリプションに必要です。

評価を実行すると、評価が正常に完了したかどうかを示す状況標識を使用して進行状況を表示できます。

評価の進行状況表示

本番環境のサブスクリプションに、本番前環境のサブスクリプションの設定をコピーする

時間を節約するために、本番環境以前のサブスクリプションから構成およびモデルのメタデータをコピーし、そのデータを本番環境のサブスクリプションに追加することができます。 モデルはソースモデルと完全に一致している必要がありますが、本番環境にデプロイされている必要があります。