IBM、新しいモデル・リスク評価エンジン（Model Risk Evaluation Engine）でwatsonx.governanceの機能を強化

AI Risk Atlasに基づくリスク側面に関連したメトリクス（指標）を算出することで、基盤モデルのリスクを測定できるwatsonx.governanceの新しいツール、モデル・リスク評価エンジン（Model Risk Evaluation Engine）をご紹介します。包括的なモデルの導入プロセスの一環として、さまざまな基盤モデル間のリスク・メトリクスを比較できるため、組織固有のリスク許容度に応じて、組織内に導入するための最適な基盤モデルを特定するのに役立ちます。

企業が生成AIのデプロイメント拡大を続ける中で、プロンプト・インジェクション、有害なアウトプット、ジェイルブレイク、ハルシネーションなど、基盤となる基盤モデルに関連するリスクをより深く理解することが企業にとってますます重要になっています。

生成AIモデルの選定において、企業には多くの選択肢があります。しかし十分な情報に基づいた判断を行うことが非常に重要になります。不適切な選択をすると、例えば「暴走する」カスタマー対応チャットボットが誤ったあるいは有害なアドバイスを提供するなど、生成モデルが正しく機能しない事態が起こり得ます。このような事態は組織の評判に大きな悪影響を及ぼし、回復が難しい場合もあります。したがって、このようなリスクを未然に防ぐために、客観的かつ定量的なリスクデータを活用することは、モデルのオンボーディング・プロセスにおいて不可欠であると言えます。

生成AIモデルのオンボーディング・プロセスには、次の3段階があります。　

1. 生成AIの一般的なリスクを理解する。
2. 特定のAIモデル（またはユースケース）に適用されるリスクを特定する。
3. 特定されたリスクを評価する。

リスクのライブラリーをオンボーディングすることは、どのようなリスクが該当する可能性があるかを理解するための第一歩です。IBMのAI Risk Atlasは、生成AIや機械学習モデルの使用に伴うリスクを理解するのに最適なリソースです。これらのリスクは、watsonx.governanceのガバナンス・コンソールにも直接統合され、すぐに利用可能です。また、必要に応じて、組織独自のリスクインベントリをこのリスク・ライブラリーに追加することも可能です。これらのリスクは、AIのユースケースやモデルに対して、標準搭載されているリスク識別評価（AIユースケース評価、モデルオンボーディング評価、ユースケース＋モデル統合評価）を通じて関連付けることができます。

該当する可能性のあるリスクを理解することは重要な第一歩ですが、それと同じくらい重要なのは、それらのリスクを特定・測定・軽減するための効果的な方法を用意しておくことです。

watsonx.governanceには、3つのリスク識別評価機能が標準搭載されています。

• AIユースケースのリスク特定：提案されているユースケースに固有のリスクを特定し、モデル固有ではないリスクを特定するために使用されます。たとえば、プロンプト・インジェクション、IP情報をプロンプトに含むこと、個人情報を公開することなどです。
• AIモデルのオンボーディング・リスクの特定： 評価対象のモデルに固有のリスクを特定するために使用します。例えば、データ・バイアス、不確実なデータの出所、トレーニングデータの透明性の欠如、再識別などです。
• ユースケース＋モデルのリスク特定： 特定のユースケースとモデルの組み合わせによって生じる可能性のある、追加的なリスクを識別するために使用されます。例えば、モデルの使用権の制限、ハルシネーション（事実に基づかない出力）、説明不可能な出力などが該当します。

これらの評価は、オンボード対象のモデルやユースケースに対して、Risk Atlasに定義されているどのリスクが該当するかを判断するために使用されます。watsonx.governanceのガバナンス・コンソールでは、基盤モデルのオンボーディング用ワークフローに、前述のリスク識別アンケート評価が含まれています。

識別されたリスクは、それぞれ個別に「リスクおよびコントロール自己評価（RCSA）」を用いて精査し、固有リスクおよび残存リスクを評価する必要があります。これにより、モデルのリスク・プロファイルが生成され、組織がそのモデルに対して許可できる利用タイプ（例：RAG、分類、要約など）を判断するための情報が得られます。

RCSAプロセスにより多くの情報を提供するために、特定のモデルのリスクと他の類似モデルとの比較をより深く理解するために、定量的な評価を行うことが可能です。また、企業は、独自に開発または強化（ファインチューニングなどを通じて）するモデルのリスクを評価することもできます。

watsonx.governanceの一部となったModel Risk Evaluation Engineは、基盤モデルの定量的なリスク評価を支援します。このエンジンは、AI Risk Atlasで定義された一連のリスク側面に関連するメトリクス（指標）を計算します。多様な基盤モデルに対してこれらのメトリクスを算出することで、企業はリスク許容度とビジネス目標のどちらにも合致したモデルを選択できるようになります。

Model Risk Evaluation Engineは、IBM watsonx.aiの大規模言語モデルに加え、外部の大規模言語モデルの評価もサポートしています。評価エンジンの結果は、watsonx.governanceのガバナンス・コンソールに保存したり、PDFレポートとしてエクスポートしたりできます。

Model Risk Evaluation Engineは、以下のタスクの達成を支援します。

• watsonx.aiを推論エンジンとして使用し、メトリクスを算出
• watsonx.aiの基盤モデルに対するリスク・メトリクスを算出
• 外部の基盤モデルに対するリスク・メトリクスを算出
• 計算済みのメトリクスをガバナンス・コンソール（OpenPages）に保管
• 計算済みのメトリクスをガバナンス・コンソール（OpenPages）から取得
• 独自のリスクとデータセットを追加
• 計算されたメトリクスのPDFレポートを生成
• 任意のモデルに対して、独自のスコアリング関数（例：決定論的関数やLLM-as-a-judge）を実装して評価を実行
• ノートブックのセル上で、表やチャート形式で指標を表示

これらのデータすべてがガバナンス・コンソールに戻されると、先述の基盤モデルのオンボーディング・ワークフローにおけるリスク評価ステップで活用できます。

watsonx.governanceのユーザーは、以下のコマンドを実行することでModel Risk Evaluation Engineにアクセスできます。

サンプル・ノートブックには、実際に試すための手順が記載されています。また、Model Risk Evaluation Engineのドキュメンテーション・ページにも詳細情報が掲載されています。

生成AIリスクの特定・測定・軽減を効果的に行いたい場合は、watsonx.governanceのようなエンドツーエンドのAIガバナンス・ソリューションが不可欠です。ぜひご自身でお試しいただくか、IBMのエキスパートにご相談ください。

watsonx.governanceを今すぐ試す

IBMのAIガバナンス・サービスの詳細はこちら