AIガバナンスを測るキーメトリクスとは

著者

Global Leader for Trustworthy AI

IBM Consulting

私は最近「AIの倫理とガバナンスに関するエンゲージメントの成否はどのような方法で測るのがよいのか」という質問を受けました。私が成否を測る基準は、倫理に関するAI原則が、単に文書化されるにとどまらず、ストラテジー、ワークフロー、意思決定に組み込まれているかどうかです。質問をする権限がどのチームにも与えられ、影響のあるコミュニティーのいずれも包含され、それぞれの段階で説明責任が保たれるモデルが構築されているなら、正しい道にいます。

まず、何よりも根の深い失敗についてです。それは、人間の振る舞いについて、知能を「拡張」してもらっているとされるAIとやり取りする人のエクスペリエンスについて考慮しないことです。人の振る舞いはどのようにして測るのかを知ることが重要、と私は考えます。心理学101の基本原則の1つは、はるかに多くのことが、測る対象とする人間の振る舞いから得られる、ということです。

当社は、AIの使用について、人間のどのような振る舞いを測っているのでしょうか。クライアントは、AIの使用について、人間のどのような振る舞いをもっと見たいのでしょうか。

IBMニュースレター

The DX Leaders

AI活用のグローバル・トレンドや日本の市場動向を踏まえたDX、生成AIの最新情報を毎月お届けします。登録の際はIBMプライバシー・ステートメントをご覧ください。

AIガバナンスの目的を見い出す

手始めとして、私が一番気に入っているクライアントの1つ、大規模な警察署についてのお話です。このクライアントは、これまでに出会った他のどのクライアントとも文化を異にしていました。その警察署のAIガバナンス評議会メンバーとのエンゲージメントが始まった頃、大半は自分がそこにいる理由をわかっていませんでした。

理由となったのは、同メンバーの全員が警察活動に関する幅広い専門知識を有することです。人工知能（AI）や機械学習（ML）となると専門家ではない、と言ってきたでしょう。『このガバナンス評議会に何で私が必要なの』と尋ねてきたことでしょう。

そうしたことから、当社の取り組みは、同メンバーがそこにいる理由、そしてその知恵と専門知識を得ることが目前のトピックで重要となる理由を説明することから始まりました。とはいえ、それ止まりではありませんでした。なぜ必要なのかを実証する必要があったのです。同メンバーがAIソリューションに何を持ち込むかがAIを適正に扱うにはクリティカルであることを学んで理解してもらうことが必要でした。AI導入を成功させるには、人間第一とすることが不可欠です。

当社が同メンバーとつながる方法は、AIを適正にするための厄介な部分が厳密にはまったく技術的なものではないことを積極的に実証することでした。領域専門家、つまり警察活動という領域での真の意味での領域専門家がそこにいることは必須です。そうした人が、データ、データが収集されたところのコンテキスト、データポイント間の関係性を理解することで、適正なAIの構築、メンテナンス、ガバナンスが責任を持って行われるようにするのです。

当社が活用した施策の中には、IBM独自のAI設計ギルドから生まれたデザイン思考演習もありました。そのデザイン思考演習は、次のような問題に取り組むものです。

適正な人材がここにいるか。

解決しようとしている中心的な課題は何か。

このAIイニシアチブを活性化するため、領域専門家の見解に従って、適正なデータを得ているか、またそのデータを正しく把握しているか。

社会的な信頼を得るには、戦術に関するいずれのAI原則をAIシステムに反映させる必要があるか。また、そうした原則を活かすために必要な機能要件と非機能要件は、どのように定義するのか。

そのAIモデルによる意図しない影響には何があるか。

リスクを意図的な方法で軽減するためのアプローチとはどのようなものか。

設定する必要のあるペルソナは誰であるかを残らず挙げる。

このAIを意図的に使用することと意図せず使用することについて、何を伝える必要があるか。

この内省的な作業は、検挙さ、インクルーシブであること、心理的安全性を優先し、人材による現実世界でのさまざまなエクスペリエンスを取りこぼさない環境で行われなければなりません。この作業の結果、チームでは長年必要としていた言葉をついに手に入れました。そうすると、構築者や購入者に対し、AIソリューションのキュレーションに責任を持つために開発あるいは買収する必要があるものは何かを明確に伝えることができます。

「成功を確かなものにする」

繰り返しになりますが、測る対象は人間の振る舞いです。そこで問題となるのは、ガバナンスプロジェクトの成否を判断するためには人間のどのような振る舞いを測る必要があるのか、ということです。

次のような質問をよく受けます。

人間のどのような振る舞いが測られるのか。人間の振る舞いの中で、伝達するための取り組みにあたって重視されるのは何であり、それらはガバナンス関連で測られる振る舞いと同じものか。

従業員は何度となく、職場でAIを使用するよう奨励される（解雇されるリスクがある）と同時に、責任ある成果に対しての説明責任を保てと言われることもあります。しかし多くの場合、厳密に評価されるのは、仕事をどれだけ早く上げられるか、どれだけ生産的になれるかであり、成果そのものではまったく評価されません。

AIが間違っていることを把握している領域専門家が、最善の判断を下すよう明示的に指示された、というケースがいくつか文書化されています。しかし、件の人はAIに対抗する代わりに、何もしませんでした。なぜなら、繰り返しますが、その業績がまったく異なったメトリクスに従って評価されたからです。実際、業務でAIに対抗したことで罰せられた人もいます。

「どのような振る舞いを測っているのか」という質問に戻り、AIによって人の知能は高まるかどうかはどのようにすれば測れるかを探ってみましょう。その人がAIの批判的な消費者として積極的に関わっているかどうかも考慮するべきです。その人には、AIのトレーニングを支援してもらえるよう、少なくとも他の人に対する警告をしてもらえるよう、目に見える形でのインセンティブが与えられるべきです。その目的は、より責任ある成果を導き出すことです。

そうするためには、AIを使用する従業員について、AIリスクを本当に理解しているかどうか、そしてデータ、バイアス、不均衡な影響の本質を理解しているかどうかを測る必要があります。説明責任を保つことの意味がわかっているでしょうか。その説明責任を奨励するような方法で測られているでしょうか。

リーダーシップによるこうした振る舞いは、適正な組織文化造りを検討する際に目を向けるべきことのほんの一例にすぎません。

AIガバナンスのエンゲージメントが成功しているか否かを把握するにあたってのコアコンポーネントは、人々からの信頼を得ているかどうかです。繰り返しますが把握しておいてください。信頼を得られるようなやり方でのAI構築は決して簡単ではありません。私が尊敬するリーダーたちは、自分の仕事ぶりを示すことができます。

AI Academy

AIの未来に向けたセキュリティーとガバナンスの一元化

このAI Academyのエピソードでは、今日の最新トレンドであるエージェント型AIをベースにしながら、リスクと保証に関するリーダーが、ガバナンスとセキュリティの間で経験する綱引きについて探ります。重要なのは、バランスを確立し、双方の効果的な業務関係を優先することです。それにより、組織は拡張可能で、より優れた、より信頼できるデータとAIを実現できます。

エピソードに移動

AIリテラシーを向上させる

この記事から持ち帰っていただきたいことは、自分はこの会話に参加している、自分ではそうしていないと思っていたとしても、ということです。データサイエンスの学位やAIの博士号は必要ない、ということはお約束します。現実世界でのそれぞれ異なったエクスペリエンスを持ち込むというという事実が、AIに関するこうした会話に参加していることになるのです。

AIが普及していて職場に出現する可能性もあるからというだけで、この会話が重要だというのではありません。使用されるAIモデルは（自分の子供が使うのであっても）攻撃者から守られており真実に基づいているとわかっているのが望ましいでしょう。それらは公平であり、突然有害なヘイトスピーチを投げかけたり道を踏み外したりすることなく、強力なプライバシー保護策で個人データを守るものであるべきです。

正直に言うと、こうしたAIトランジションは厄介です。AI時代をリードするということは、曖昧さに慣れるということです。とっつきやすいとか短期的な収益性があるとかだけでなく、正しいことを行う選択をするということなのです。それにはAI テクノロジーをより深く理解すること、つまり、その仕組み、ありうる成果、取るべきリスクを理解することが要求されます。また、そうして理解したことと知識を全従業員に分け与えることを必要とします。AIリテラシー、AIガバナンス、有能なAIガバナンスリーダーに投資する、ということです。

今ステップアップするリーダー、つまり、大胆な質問をし、適正なシステムを供給し、人間の価値を中心に据えるリーダーは、落とし穴に落ちないようにするだけでなく、AIのより責任ある未来を積極的に形作るものです。競争上の永続的な優位性となる信頼を得るものです。リーダーとしてのこの瞬間は、ご自分のものです。この瞬間を意味あるものにしましょう。この瞬間を意味あるものにしましょう。