企業における生成AIの生産性を評価するための5つのヒント

生成AIは、比較的短期間で企業の世界で大きな注目を集めています。このテクノロジーは、日常的なワークフローの自動化から大規模なデータセットからの洞察の生成まで、効率とイノベーションを大幅に向上させる可能性を秘めています。

現在、AIアシスタントは個々の能力を拡張することで生産性を高めます。働き方やコンサルティングの次の進化は、タスクを実行し、互いに通信する自律的な AIエージェントのチームを人間が監督するエージェント型AIです。IBMコンサルティングのHRおよび人材トランスフォーメーション担当グローバル・マネージング・パートナーであるJill Goldsteinは、「企業は現在の業務プロセスを再評価し、一連の自律型AIエージェントを人間が監督する新しいタイプのチームを編成する必要があります」と述べています。

AIの可能性を最大限に引き出すには、個人の成果だけでなく、人間と一緒に働くAIエージェントの調整も評価する生産性評価フレームワークを確立する必要があります。しかし、職場のタスクを実行するために人間と機械がどれだけ密接に連携しているかを考えると、生産性への実際の影響を定量化することは複雑なプロセスになる可能性があります。言い換えれば、今日の問題は、生産性を向上させるためにAIを導入するか否かではなく、企業が利用できるツールをどのように評価し、使用する最善の方法を見つけられるかということです。

IBMコンサルティングコンサルティングでは、この問題に対処するため、社内に生産性評価ラボを設け、コンサルタントがAIを導入する際に生産性を評価できるフレームワークと方法を作成しました。これらのフレームワークは、導入を成功させるだけでなく、有用で具体的な成功の評価基準を提供するためにも重要であす。これらは、AIエージェント、アプリケーションなどを使用してお客様の実行（デリバリー）を強化するAI搭載デリバリー・プラットフォームであるIBM Consulting Advantageの継続的な開発に役立つ実行可能なデータを提供する上でも不可欠でした。

このプロセスを通じて、企業環境でAIを使用することによる生産性を最も効果的に評価する方法に関する5つの重要な教訓がわかりました。

1. コンテキストを考える
2. 対照群に対する主要なメトリクスを評価する
3. さまざまなスキル・レベルのユーザーを巻き込む
4. 人間がいかに早くシステムに適応するかを評価する
5. プロジェクトのライフサイクル全体を考慮する

生成AIの影響を評価する際には、それが適用される特定のコンテキストを考慮することが重要です。AIツールのパフォーマンスは業界、部門、タスクによって異なります。つまり、画一的な評価では正確な洞察は得られません。

Goldsteinもこの考えに同調しています。「生成AIを最大限に活用するには、リーダーはまずそれを従業員が置かれている状況を念頭に置いて、どのようにAIを活用するかを検討する必要があります。つまり、適切なテクノロジーを適切な場所に配置して、ツールを効果的に使用するための技術的洞察力を従業員に身につけさせることが重要です」。

例えば、AIがエンジニアリング・チームに与える影響は、カスタマー・サービス担当者に与える影響とは異なります。コーディング・アシスタントを使用する開発者は、コードのデプロイメントが速くなり、エラーを減らすことができる一方で、カスタマー・エクスペリエンス・エージェントは対応答時間を短くすることができるでしょう。

生産性評価プロセスが成功すると、AIが解決しようとしている特定の問題が特定され、研究者はAIの関連する影響を正確に評価できるようになります。

生成AIの影響と、人間がアシスタントやツールを使用する方法を真に理解するには、AIを使用していない対照群と比較してパフォーマンスを評価する必要があります。この方法により、研究者は改善がAIシステムに直接起因するものかどうかを確認できます。

生産性評価ラボの研究では、可能な限り類似したユーザー・グループを特定し、実際のシナリオを模倣した同一のプロジェクトを実行するように依頼します。1つのグループは従来の方法で、もう1つのグループはAI拡張を使用して実行します。そこから、これら2つのグループ間の速度、品質、コスト、精度などの主要な指標を定量化できます。

生成AIが生産性に与える影響は、システムを使用する従業員のスキル・レベルによって大きく異なります。このため、さまざまなユーザーの専門知識に対してAIがどのように機能するかを評価することが重要です。スキル・レベルと専門知識は、単に年功序列や経験年数の観点から見るのではなく、特定のタスクの実装に必要な関連スキルまたはターゲット・スキルの観点から見る必要があります。

コード・アシスタントを評価する最近の研究では、AIを活用して同じタスクを実行する2つのチームを編成しました。1つはスキル・レベルが高く、もう1つは専門知識があまりないチームです。各グループの生産性レベルは、対照群と比較して大幅に異なることがわかりました。これは、人間と機械のインタラクションとシステムとの効率的な通信能力が、ツールの投資収益率に大きな影響を与えたことを示しています。

企業環境で生成AIが成功するかどうかは、多くの場合、従業員がどれだけ迅速かつ効果的にそれに適応できるかにかかっています。生成AIは人間の能力を増強するように設計されており、学習曲線と調整期間が必要になる場合があります。人間のAIシステムの採用と統合を評価することは、システムの全体的な影響を評価する上で非常に重要です。

IBMの調査では、一部のグループはAIアシスタントへの適応が遅く、ツールを生産的に使用できるようになるまでに、より多くのオンボーディングと実験が必要であることがわかっています。また、アシスタントと既存のチーム固有のツールの統合が、生産性に与える影響の大きな要因であることもわかっています。

この変数を効果的に評価するには、研究対象者を継続的に監視および観察し、彼らがどれだけ早く適応できるかを特定することをお勧めします。

生成AIが生産性に与える影響は、そのアウトプットをどのように維持する必要があるかにまで及びます。AIによって生成されたアウトプットの更新や管理がどの程度簡単か、または難しいかを評価することは、全体的な効果の重要な側面です。

例えば、コード・アシスタントの生産性に関する調査では、一部のチームではより少ないコード数で同じ結果を達成し、これが保守にかかる労力の削減につながっていることがわかりました。

他のAIアプリケーションでは、この評価には、AIが生成したコンテンツを監視または監査するために必要な人間の労力の計算が含まれる場合があります。AIが大規模な修正や更新を必要とする作業を実行する場合、純生産性は予想よりも低くなる可能性があります。

2025年に向けて、企業が生成AI投資の影響を評価しようとする中で、このような研究はますます重要になります。Goldsteinはこの考えを強調し、「組織は、AIがどのように労働力の能力を高め、課題に対処しているかについての洞察を得るために、生産性評価フレームワークを開発する必要があります。この労働力データを手元に置いておけば、リーダーは影響の大きいユースケースを特定し、AIの取り組みに優先順位を付け、ROIを最大化できます」と述べています。

IBMの初期の調査結果では、企業のAIの価値は、人間がAIをどのように使用できるかに深く結びついていることが示唆されています。つまり、AIを効果的に照会するための知識があるかどうか、またはAIアシスタントが日常的に使い慣れているワークフローとどれだけうまく統合できるかにかかっているということです。

IBMコンサルティングの生産性評価ラボでは、これらの洞察を活用してツールを継続的に調整および拡張し、より効率的な人間とマシンの関係を構築し、AIの真の力を実現することを目標としています。