AI監査とは何ですか。

AI監査とは、人工知能（AI）システムがどのように設計、訓練、デプロイされているかについて、構造化された証拠に基づいた方法で検証することです。

AI監査は、AIシステムの包括的な「ヘルスチェック」と考えることができます。従来の監査が財務諸表やIT管理に焦点を当てるのに対し、AI監査は AIライフサイクル全体の基本を掘り下げます。これにはデータ収集と品質、モデルのアーキテクチャと説明可能性、そしてシステムが稼働した後の意思決定プロセスが含まれます。

この監査プロセスでは、組織によるAIの使用が、ガバナンスフレームワーク、リスク管理フレームワークと倫理基準に合致しているかどうかを評価します。次のような質問をします。

• 個人データおよび研修データは、合法的に収集され、安全に保管されていますか。
• アルゴリズムはバイアスを生むのか、それとも新たな脆弱性を生み出すのでしょうか。
• 時間をかけてリスクを軽減するためのアクセス制御やメトリクスは整備されていますか。

AI監査はAIシステムの内部構造を明確に描き、 信頼性を確立します。利害関係者や規制当局にとって、これはこのテクノロジーが責任を持って使用されているという具体的な証拠となります。

AIシステムは、住宅ローンの承認、患者のトリアージ、ソーシャル・メディア・コンテンツの管理など、日々の重要な意思決定に影響を与えています。これらのシステムはスピードと自動化を実現する一方で、潜在的な害をもたらす可能性もあります。欠陥のあるモデルはバイアスを強め、セキュリティー体制が弱いとデータ侵害を引き起こし、誤った情報に基づいた意思決定が利害関係者の信頼を損なう可能性があります。

規制当局は対応しています。欧州連合（EU）の人工知能法（欧州AI規制法）は、いくつかのリスクレベル（限定的かつ最小限のリスク、高リスク、許容できないリスク）を定義しており、厳しい監査基準を要求しています。

同様に、米国国立標準テクノロジー研究所（NIST）のAIリスク管理フレームワークは、 AIの透明性と説明責任に関する期待値を定めています。内部監査担当者と情報セキュリティチームは、法令遵守を実証し、AIシステムが設計からデプロイメントまで信頼できるものであることを示すよう求められています。

したがって、AI監査は防御ツールでもあり戦略ツールでもあります。組織が脆弱性を拡大前に特定し、データガバナンスの実践と取り組みを強化するのに役立ちます。また、明確なドキュメンテーションと再現可能なワークフローを促進することで、AI監査は組織が規制遵守要件を満たし、顧客や投資家の間に信頼関係を築くのに役立ちます。

包括的なAI監査では、相互に依存している3つの領域が調査され、それぞれに独自のテストとメトリクスがあります。

• データ
• モデル
• 導入

監査人は、データの収集方法、ラベル付け方法、管理方法を評価します。データ・セットの正確性や品質を確認し、アウトプットを歪める可能性のある隠れたバイアスや「古くなった」データがないかを検証します。プライバシーとデータ保護の管理は極めて重要です。個人データは 一般データ保護規則（GDPR）またはそれに類する基準を満たす必要があり、 メタデータ はAIライフサイクル全体にわたって追跡可能であるべきです。

一般的なチェックには、データ品質スコアリングと公平性アセスメントのレビューが含まれ、保存期間、アクセス制御、権限が文書化され、適用されていることを確認します。

監査人はアルゴリズム自体を調査します 。重要な質問には、「どのような 機械学習 技術が使われているか」が含まれます。意思決定ロジックはどの程度説明可能ですか。メトリクスや閾値はドリフトや予期せぬ行動を監視するために定義されていますか。

彼らはしばしば人口統計グループを対象とした誤差率分析を実施し、ストレステストを適用したり、 レッドチーミング演習を実施して脆弱性を明らかにします。信頼性テストは、デプロイメント前に潜在的な害を特定するのにも役立ちます。

最後に、監査人は運用環境を調査します。ガバナンス構造と監視ワークフローが立ち上げ後も維持されていることを確認します。

一般的な評価には、規制遵守のための適合性評価（例：EU AI法）、継続的なリアルタイム・パフォーマンス・モニタリング、そして組織が新たな脅威を検出し、封じ込められるよう支援するインシデント対応シミュレーションが含まれます。監査人は、必要に応じて、アウトプットが人間によるレビューを受けていることを確認する場合もあります。

世界中で、AI監査を形成する法律や基準が増えています。すでに施行されているものもあれば、導入に向けて急速に動いているものもあります。特に次の規制が重要です。

• EU人工知能法：欧州連合では2024年8月から欧州AI規制法が施行され、AIシステムをリスクレベル別に分類しているため、リスクの高いアプリケーションについては広範な文書化、テスト、および人的監督が必要です。

• AIリスク管理フレームワーク：2023年にNISTによって開発されたこの自主的なフレームワークは、組織がライフサイクル全体にわたってAIリスクを特定、評価、管理する際の指針となります。連邦政府機関にこのフレームワークを制度化するよう指示した大統領令は撤回されましたが、基準自体は引き続き指針として機能しています。

• 意思決定に関する指令：2020年から施行されているカナダ連邦政府の指令は、各省庁に対し、アルゴリズム影響アセスメントを実施し、影響の大きいAIシステムについてその成果を公表することを義務付けています。

• モデルAIガバナンスフレームワーク：2019年に最初にリリースされ、2024年に更新されたシンガポールのフレームワークは、透明性、利害関係者の関与、および人的監視に関する詳細なガイダンスを提供します。これは多くの民間組織で活用されています

• AIガバナンス：2023年に更新された日本のガイドラインでは、リスクアセスメント、説明可能性、独立した第三者による監査が求められており、AIライフサイクル全体にわたる説明責任に重点が置かれています。

• AI原則：2019年以降、経済協力開発機構（OECD）の40を超える加盟国で採択されたこれらの拘束力のない原則は、公平性、透明性、強固な安全保障を促進するものです。これらは、新たな国内規制の世界的な基準点として機能します。

ブラジル、アラブ首長国連邦、韓国などの国々からもいくつかのフレームワークが生まれつつあります。これらの取り組みにより、AIガバナンス法案が推進され、倫理的使用、プライバシー保護、利害関係者の説明責任に重点を置いた詳細なガイドラインが公開されています。

業界レベルの規制により、説明責任がさらに強化されます。米国では、医療機関は医療保険の相互運用性と説明責任に関する法律（HIPAA）を遵守する必要があります。これには、AIシステムで使用されるすべての患者データに対する厳格な保護が義務付けられているプライバシーおよびセキュリティ規則が含まれます。

金融機関は、連邦準備制度理事会のSR 11-7ガイダンスや通貨監督庁のモデル検証要件といったモデルリスク管理基準に従っています。この2つのガイダンスと要件は、いずれもAIモデルの独立したテストと継続的な監視を義務付けています。

フレームワークは、規制要件を実用的な監査基準に変換します。組織は多くの場合、複数のフレームワークの要素を組み合わせて、業種・業務や規制環境に合わせた監査アプローチを作成します。

一般的なフレームワークには次のようなものがあります。

• COBIT：情報および関連テクノロジーの制御目標（COBIT）フレームワークは、AI監査を企業の ITガバナンス および情報セキュリティ・プログラムに統合する管理志向のアプローチを提供します。これにより、部門間で一貫した監視が行われます。

• COSO ERM：トレッドウェイ委員会エンタープライズリスク管理フレームワーク（COSO ERM）のスポンサー組織委員会は、組織がAIリスクをより広範なリスク管理戦略や取締役会レベルの監督に組み込み、新興テクノロジーを企業目標に結びつけるのを支援します。

• GAO AI説明責任フレームワーク：米国政府監査院(GAO)の人工知能説明責任フレームワークは、ガバナンス、 データ品質 、性能監視の評価に関する指針を提供しており、公共・民間の両方の監査に有用です。

• IIA AI監査フレームワーク：内部監査人協会（IIA）の人工知能監査フレームワークは、従来の監査基準をAIシステムの固有の特性に合わせて調整し、倫理基準と意思決定における透明性を重視しています。

• PDPCモデルAIガバナンスフレームワーク：シンガポール個人データ保護委員会（PDPC）のモデル人工知能ガバナンスフレームワークは、複数の管轄区域で活動する組織の利害関係者の関与と責任あるデータ処理に関する詳細なガイダンスを提供します。

効果的なAI監査では、ベスト・プラクティスと規律ある段階的なロードマップを組み合わせています。AIを監査するためのストラテジーは無数にありますが、1つのアプローチは次の手順に従います。

監査チーム、内部監査担当者、データサイエンティスト、およびビジネス上の利害関係者の役割を明確に定義するガバナンス構造を構築します。AIプロジェクトが提案されたら、すぐに内部監査機能を関与させ、リスク・アセスメントとデータ・ガバナンス対策が最初から組み込まれるようにします。

生成AIモデル、チャットボット、自動化ツールを含む、使用中または開発中のすべてのAIモデルをカタログ化しましょう。リスク評価と将来のモニタリングの基盤を構築するために、トレーニングデータのソースとデータ品質メトリクスを文書化する。

バイアス、データ侵害、個人データの悪用などの潜在的な危害を考慮した正式なリスク・アセスメントを実施します。データ収集手法の妥当性を確認し、プライバシー保護措置を検証するとともに、データセットが保存期間や正確性などの指標に関する規制基準を確実に満たすようにします。

業界および規制環境に合った監査フレームワークを選択します。たとえば、一部の組織では、COBITのコントロールの焦点とCOSOのエンタープライズ・リスクのビューを融合した後、説明責任のためにGAOまたはIIA要素を、利害関係者の透明性のためにPDPCをそれぞれ追加しています。説明可能性テスト、アルゴリズム監査、リアルタイム測定基準に対応した監査ツールを使用します。

証拠収集、アクセス制御、レポート作成のためのテンプレートを作成することができます。モデル性能と緩和ストラテジーのメトリクスを定義します。監査ワークフローには、内部監査の承認と利害関係者によるレビューのためのチェックポイントを確実に含めるようにします。

監査を実施し、調査結果を文書化し、必要に応じて経営陣や規制当局と成果を共有します。継続的なモニタリングを確立して、データ品質と運用リスクの両方を追跡します。メトリクスやダッシュボードは、監査チームに脆弱性のリアルタイム可視化を提供し、迅速な緩和を可能にします。

監査分野は、AIテクノロジーと歩調を合わせて進化しています。今後、組織は次のことを期待できます。

将来どのように展開するかにかかわらず、監査はもはや1回限りのコンプライアンス作業ではありません。監査は、企業がAIテクノロジーを安全に自信を持って展開できるよう支援する、継続的でインテリジェントなプロセスになりつつあります。