AIガバナンスとは、組織内のAIアクティビティーを監視および管理する機能です。これには、企業内にデプロイされたデータとモデルの起源を追跡して文書化するプロセスと手順、およびモデルの継続的な精度をトレーニング、検証、監視するために使用される手法が含まれます。効果的なAIガバナンスは、企業に次の3つの主要な成果をもたらします。

• コンプライアンス。AIソリューションとAIによる意思決定が、業種・業務で認められた慣行、規制基準、法的要件に準拠していることを確認するのに役立ちます。

• 信頼。AIモデルが説明可能で公平であることを保証することで、AIによる意思決定に対する信頼を実現します。

• 効率性。AI開発およびデプロイメントを標準化および最適化することで、市場投入までのスピードを向上させ、AI開発コストを削減できます。

AIガバナンスを導入しない企業は、さまざまな悪影響が生じるリスクがあります。機械学習のプロセスは反復的であり、コラボレーションが必要です。適切なガバナンスとドキュメントがなければ、データサイエンティストや検証者は、モデルのデータの系統やモデルの構築方法を確認できません。結果に導くことは、再現するのが難しい場合があります。管理者が間違ったデータや不完全なデータを使用してモデルをトレーニングすると、数か月にわたる作業が無駄になる可能性があります。

AIガバナンスの欠如は重大な罰則につながる可能性もあります。銀行運営者は、融資の適格性を判断する際に偏ったモデルを使用したとして、7桁に及ぶ罰金を科せられました。EUは一般データ保護規則（GDPR）にAI規制を追加する予定です。現在、GDPR違反に対しては「最高2,000万ユーロ、または前会計年度の企業の全世界の年間収益の4％のいずれか高い方の罰金が科せられる可能性があります」。

ブランドの評判も危険にさらされます。ある実験では、AIソフトウェアを使用してSNS上の若者の話し方のパターンを学習しました。インターネット荒らしがこのツールに人種差別的、性差別的、反ユダヤ的な投稿を作成するように「教え込んだ」後、行政当局はすぐにこのソフトウェアを削除しました。

概念アーキテクチャー

上の図は、大規模言語モデル（LLM）を使用した生成AIソリューションのAIガバナンス・ソリューションの主要コンポーネントを示しています。

モデル・ガバナンスは、AIガバナンスの中央情報センターで、企業のスタッフがAIモデルが公平性、透明性、コンプライアンスの要件を満たしていることを確認、監査、報告するために使用するダッシュボード、レポート、アラート機能を提供します。モデル・ガバナンス・コンポーネントを使用すると、企業は、モデルを開発から本番環境に移行するタイミングと方法に影響を与えるゲーティング基準やその他のポリシーを設定することもできます。

モデル・モニタリングは、モデルの出力を積極的に監視し、モデルが説明可能で、公平であり、規制に準拠していること、また、モデルがデプロイされたときにもその状態が維持されていることを確認します。モデルがドリフトしたり、出力にバイアスが生じたりした場合、モデル・モニタリング・コンポーネントはAI運用スタッフによる調査のためにフラグを立てます。コン

概念チュートリアル

下図は、エンタープライズAIガバナンスを実現するための高レベルのコンポーネントの相互作用を示しています。

1. エンタープライズ・ガバナンス・チームのメンバーは、モデル・モニタリング・コンポーネントを使用して、(i) プライベート・インフラストラクチャー、ハイパースケーラー、クラウドベースのプラットフォームにわたってエンタープライズ内にデプロイされているAIモデル（基盤モデルおよび非基盤モデル）を視覚化し、(ii) エンタープライズ内でデプロイおよび運用されるモデルの最小運用基準やその他のポリシーを設定します。基準とポリシー制御は、その後の監視とアラートのためにモデル・モニタリング・コンポーネントに伝播されます。

2. モデル開発者プロンプトは、大規模言語モデル（LLM）を調整し、テスト・プロンプトに対するモデル応答を評価します。これらのテストの結果は、要約統計とともに取得され、モデルとデータの系統を提供するために記録されるモデル・モニタリング・コンポーネントに伝達されます。

3. モデル検証者は、チューニングとテストの結果をレビューし、モデル・モニタリング・コンポーネントの支援を受けて、エンタープライズ・ガバナンス・チームによって設定されたゲーティング基準および制御と比較します。基準と制御が満たされると、モデルは生産での使用が承認されます。

4. モデル開発者は、モデル・モニタリング・コンポーネントを使用して、モデルのパフォーマンスを長期にわたって監視します。具体的には、開発者は、モデルの応答が公平性（バイアスがない）、正確性（適切な応答）、透明性（説明可能な応答）に関する企業の基準を継続的に満たしていることを確認します。

5. モデル・モニタリング・コンポーネントは、デプロイされたAIモデル（基礎／生成モデルと「従来の」機械学習モデル）を継続的に監視し、精度とパフォーマンスの統計を取得します。

6. モデル・モニタリング・コンポーネントは、ユーザー・プロンプトとモデルの応答も取得して、(i) モデル・ドリフト（バイアスやモデル精度の偏差）をさらに防ぎ、(ii) テストデータを取得して、追加の調整が有益なトピック領域またはデータ・ドメインを特定するのに役立ちます。

現在提供されているIBM製品ソリューション

IBM watsonx.governanceおよびIBM OpenPagesソリューションの概念モデルへの現在のマッピングを下図に示します。watsonx.aiプラットフォーム、オンプレミス、クラウドベースのインフラストラクチャー、またはAmazon Sagemakerなどのサード・パーティーAIプラットフォームで実行される基盤モデルは、実行時にwatsonx.governanceによって監視されます。また、watsonx.governanceは、watsonx.governance内でAIファクトシートと呼ばれるモデル・カードを作成、更新、管理する機能や、モデルのパフォーマンス・メトリクスを取得してレポートする機能を提供します。IBM OpenPagesのモデル・リスク管理モジュールは、リスク・レポートおよび管理機能と、モデル開発およびデプロイメント・ポリシー管理機能であるモデル・ガバナンスを提供します。

生成AIソリューションのガバナンスは、「従来型」AIモデルのガバナンスに似ていますが、その生成機能では、不適切または悪意のあるプロンプトを防ぎ、モデルが事実上正しく許容可能な出力を生成するようにするために、従来のモデルよりも厳密なモデル入力とモデル出力の管理が必要です。このセクションでは、モデルのライフサイクル管理とモデル・リスクおよび規制コンプライアンスという2つの主要なユースケースで、IBM watsonx.governanceが基盤モデルにどのように適用されるかについて説明します。

モデルのライフサイクル管理

上図は、watsonx.governanceを使用して、初期テストと検証からデプロイメントまでのモデルのライフサイクルを管理する方法を示したものです。

1. モデル開発者プロンプトは、watsonx.aiオンプレミス・ソリューション、watsonx.aiサービス、または別のオンプレミスまたはクラウドベースのプラットフォームでモデルを調整し、それに対してプロンプトを開発およびテストします。

2. プロンプトとモデル応答データ、およびROUGE、SARI、Chef、BLUEなどのモデル・パフォーマンス・メトリクスは、watsonx.governanceのモデル・インベントリー管理機能で取得されます。プロンプトと応答データの複数のバージョンが取得され、企業の要件に最適なモデルとプロンプトの組み合わせを相互比較して選択できるようになります。

3. モデル検証者は、個々のプロンプトとモデルの組み合わせの結果を確認し、運用環境へのデプロイメントを承認するバージョンを選択します。

4. モデル開発者は、同じ機能を使用して、特定のビジネス・ユースケースにおけるモデル／プロンプトの組み合わせとそのパフォーマンスを追跡します。

モデル・リスクと規制コンプライアンス

以下は、watsonx.governance内のモデル・リスクと規制コンプライアンスのコンポーネントについての説明です。

1. 企業のAIガバナンス・チームのメンバーは、運用中のモデルが満たす必要があるROUGEなどのモデル・メトリクスの最小値、最大値、許容差異として指定された基準を決定して設定します。これらの基準はIBM OpenPages Model Risk Managementツール内で設定され、その後watsonx.governanceに伝播されます。

2. モデル開発者プロンプトは、watsonx.aiオンプレミス・ソリューション、watsonx.aiサービス、またはSagemakerなどの別のオンプレミスまたはクラウドベースのソリューション内にデプロイされた基盤モデルに対してテスト・プロンプトを調整および開発します。

3. プロンプト情報とモデル応答データは、モデル・パフォーマンス・メトリクスとともにwatsonx.governanceに伝播され、そこでメトリクスはガバナンス・チームによって設定されたしきい値と比較されます。

4. メトリクス比較結果は、ガバナンス・チームによるレビューとレポートのためにIBM OpenPagesに伝播されます。具体的には、プロンプト／モデルの組み合わせが設定された基準をすべて満たしている場合、生産準備完了、またはリスクなしとしてフラグが付けられることがあります。モデルが基準の一部のみを満たしている場合、ガバナンス・チームがポリシーをどれだけ厳格に設定したかに応じて、パフォーマンスが低い可能性があり、まだ本番環境に適していないというフラグが付けられる可能性があります。