IBMニュースレター
The DX Leaders
AI活用のグローバル・トレンドや日本の市場動向を踏まえたDX、生成AIの最新情報を毎月お届けします。登録の際はIBMプライバシー・ステートメントをご覧ください。
ニュースレターは日本語で配信されます。すべてのニュースレターに登録解除リンクがあります。サブスクリプションの管理や解除はこちらから。詳しくはIBMプライバシー・ステートメントをご覧ください。
すべてのAIエージェントのタイプが学習可能なわけではありません。学習機能が搭載されていない一部のAIエージェントは、データを受動的に取り込み、それに応答する形でプログラムされた反応型のアクションを実行するだけの、単純反射型エージェントです。
環境について推論できるモデルベース反射型エージェントと、特定の目標を追求できるものの学習機能はないプロアクティブなゴールベース型エージェントがあります。また、ユーティリティー機能を使用して全体的なメリットを最大化するアクションを評価して選択する、効用ベース型エージェントも同様です。
学習型エージェントは、新しい経験やデータに適応することで、時間の経過とともに性能を向上させます。事前定義されたルールまたはモデルを使用して動作する他のAIエージェントとは異なり、学習型エージェントは環境からのフィードバックに基づいて行動を継続的に更新します。
これにより、意思決定能力を高め、動的で不確実な状況でもより優れたパフォーマンスを発揮できます。学習型エージェントは、人間の介入を最小限に抑えつつ複数ステップの問題解決ワークロードを処理し、AIツールの可能性を最大限に引き出します。
学習型エージェントは、通常4つの主要な構成要素で構成されています。
性能要素：ナレッジ・ベースの情報に基づいて意思決定を行います。
学習要素：フィードバックや経験に基づいて、エージェントの知識を調整・向上させます。
クリティック：エージェントのアクションを評価し、報酬やペナルティといった形でフィードバックを提供します。
問題ジェネレーター：エージェントが新たな戦略を発見し、学習を向上させるための探索的な行動を提案します。
IBMニュースレター
AI活用のグローバル・トレンドや日本の市場動向を踏まえたDX、生成AIの最新情報を毎月お届けします。登録の際はIBMプライバシー・ステートメントをご覧ください。
ニュースレターは日本語で配信されます。すべてのニュースレターに登録解除リンクがあります。サブスクリプションの管理や解除はこちらから。詳しくはIBMプライバシー・ステートメントをご覧ください。
機械学習（ML）は、さまざまな種類のAIエージェント学習のバックボーンを形成します。エージェントはデータに基づいてパターンを特定し、予測を行い、性能を向上させることができます。
AIエージェントで使用される3つの主要な機械学習手法は、教師あり学習、教師なし学習、強化学習です。より具体的には、多くの層を持つ複雑なニューラル・ネットワークを使用して膨大な量のデータを処理し、複雑なパターンを学習するディープラーニング（深層学習）の手法です。
教師あり学習では、各インプットが既知のアウトプットに対応するラベル付きデータ・セットで機械学習のアルゴリズムをトレーニングします。エージェントはこの情報を用いて予測モデルを構築します。
例えば、AIチャットボットは、カスタマー・サービスの会話とそれに対応する解決策についてトレーニングすることで、予測される応答を提供できます。この手法は、画像認識やSpeech to Textの処理、医療診断などで広く応用されています。
転移学習は、AIエージェントがあるタスクから取得した知識を使用し、それを別のタスクに適用できるようにします。例えば、一般的なデータ・セットでトレーニングされた大規模言語モデル（LLM）は、法律や医療のテキスト処理などの特定のドメインに合わせて微調整できます。
対照的に、教師なし学習では、AIエージェントがラベルなしデータに対してデータ分析を実行し、人間の監視なしにパターンや構造を見つけることができます。
この方法は、マーケティング・ストラテジーを改善するための顧客行動のクラスタリングや、サイバーセキュリティーでの異常検知、ストリーミング・サービスで使用されるような推奨システムなどのタスクに役立ちます。
自己教師あり学習では、従来は教師あり学習を必要としていたタスクに教師なし学習を用います。自己教師ありAIモデルは、監視信号のラベル付きデータ・セットに依存するのではなく、非構造化データから暗黙的なラベルを生成します。
自己教師あり学習は、大量のラベル付きトレーニング・データが必要なコンピューター・ビジョンや自然言語処理（NLP）などの分野で役立ちます。
強化学習は、自律エージェントによる意思決定ワークフローに重点を置いた機械学習プロセスです。不確実な環境における連続的な意思決定プロセスに対処します。
教師あり学習とは対照的に、強化学習では正しい動作または間違った動作のラベル付けされた例は使用されません。しかし、強化学習は、隠れたパターンの情報を抽出するのではなく、試行錯誤と報酬関数によって学習するという点で、教師なし学習とは異なります。
強化学習も、擬似ラベルを生成したり、グラウンド・トゥルースに対して測定したりしないため、自己教師あり学習とは一線を画しています。これは分類方法ではなく、行動学習者なのです。
強化学習を使用するAIエージェントは、環境内でアクションを実行し、その結果を観察し、それに応じてストラテジーを調整する、試行錯誤のプロセスを通じて運用されます。学習プロセスでは、状態と行動を対応付けるポリシーを定義し、短期的な利益ではなく長期的な累積報酬を最適化するように設計されます。
時間の経過とともに、エージェントは対話を繰り返すことで意思決定を洗練させ、複雑なタスクを効果的に実行する機能を徐々に向上させます。このアプローチは、事前定義されたルールでは最適な性能を得るのに十分ではない可能性がある動的環境で有益です。
自動運転車は、強化学習を使用して最適な運転行動を学習します。試行錯誤を経ながら、AIは、道路を走行し、障害物を回避し、リアルタイムの運転判断を下す能力を向上させます。AI搭載のチャットボットは、ユーザーとのやり取りを学習し、応答を最適化してエンゲージメントを高めることで、会話能力を向上させます。
AIエージェントにおける継続的学習とは、人工知能システムが時間の経過とともに学習および適応する中で、過去の知識を忘れることなく新しいデータや経験を取り入れる能力を指します。
一般に固定データ・セットを用いたトレーニングを行う従来の機械学習とは異なり、継続的学習では、AIは新しい情報や環境の変化に応じてモデルを継続的に更新できます。これにより、エージェントはリアルタイムで性能を向上させ、新しいパターンや進化する状況、動的な条件に適応できます。
データが常に変化し、AIの有効性を維持するためには新しい入力を常に必要とする実際の応用においては、継続的な学習が重要です。これにより、モデルが新しい情報を学習するときに古い知識を忘れてしまう「破壊的忘却」を防ぐことができ、進化し続ける一連のタスクや課題をシステムが確実に処理できるようになります。
AIエージェントのメリットの1つは、連携して動作できる点です。マルチエージェント・アーキテクチャーでは、AIエージェントはコラボレーションと競争を通じて学習します。協調学習では、スウォーム・ロボティクスに見られるように、エージェントは共通の目標を達成するために知識を共有します。
しかし、敵対的な設定で競争することによって戦略を洗練させると、競争学習が生じます。金融取引AIがその例です。
患者ケアの改善、ワークフローの合理化、倫理的配慮の順守の促進、病院ネットワークにおけるリソースの割り当ての最適化に取り組むAIエージェントのネットワークを想像してみてください。
これらのマルチエージェント・フレームワークでは、生成AIを備えたより高度な学習エージェントが、より単純な反射型エージェントまたはゴールベース型エージェントを管理することがあります。このユースケースでは、各エージェントが医療システム内の異なる役割またはタスクを代表し、協力して情報を共有して患者の治療成果と業務効率を向上させます。
フィードバック・メカニズムにより、AIシステムは行動や予測の成果に関する情報を受信し、その行動の精度や有効性を評価できるようになります。
このフィードバックは、肯定的（正しい行動を強化する）または否定的（誤った動作を罰する）のいずれかであり、システムの決定を導き、性能を向上させるために不可欠です。フィードバックはAIでの学習を可能にする極めて重要な構成要素ですが、学習プロセスの全体像ではありません。
リアルタイムのフィードバックは、動的な環境で動作するAIエージェントにとって非常に重要です。自動運転車やRobotic Process Automation（RPA）のような自律システムは、センサー・データを継続的に収集し、即時のフィードバックに基づいて動作を調整します。これにより、変化する状況に適応し、リアルタイムの意思決定を改善することができます。
教師なし学習では、ラベル付きデータや直接的な監督という形でフィードバックが明示的に提供されることはありません。代わりに、AIエージェントはデータ自体の中にあるパターン、構造、または関係を探索します。
例えば、クラスタリングや次元削減のタスクでは、エージェントがデータの基礎となる構造を最もよく表すようにモデルを調整する際に、フィードバックが暗黙的に発生します。
モデルは、エラー最小化（オートエンコーダーでの再構築エラーの削減など）や、特定の基準の最適化（クラスタリングにおけるデータの類似性の最大化など）のメトリクスを通じて、データをより深く理解できるようになります。
複数の倉庫や店舗にわたる製品需要を予測し、在庫レベルを最適化する必要があるサプライチェーン管理システムでは、AIエージェントは、クラスタリングや異常検知などの教師なし学習の手法を使用して、明示的なラベルまたは事前定義されたカテゴリーは必要とせずに大量の販売履歴データを分析できます。
教師あり学習では、フィードバックは明示的であり、ラベル付きデータの形式で提供されます。AIエージェントは、インプット／アウトプットのペア（例：対応するラベルを持つ画像）を使用してトレーニングされます。エージェントが予測を行った後、そのアウトプットを正しいラベル（グラウンド・トゥルース）と比較することにより、フィードバックが行われます。
予測されたアウトプットと真のアウトプットの差（誤差）は、多くの場合、損失関数を使用して計算されます。このフィードバックを使用してモデル・パラメーターを調整することで、モデルは時間の経過とともに予測を改善できます。
AIエージェントは、教師あり学習を使用して、顧客の過去の行動、購入履歴、好みに基づいて、どの製品やサービスに興味を持ちそうなのかを予測できます。
例えば、eコマース・プラットフォーム向けのAIソリューションでは、過去の購入履歴や評価などの履歴データをラベル付きの例として使用し、顧客が次に購入する可能性のある製品を予測するモデルをトレーニングして、顧客体験を向上させることができます。
教師あり学習は、AIエージェントが人間のフィードバックを統合してモデルを改良し、意思決定を改善し、新しい状況に適応するため、ヒューマン・イン・ザ・ループ（HITL）学習とみなされます。
この方法では、自動学習と人間の専門知識が組み合わせられるため、AIはエラーやバイアスを最小限に抑えながら複雑なタスクをより効率的に処理できるようになります。HITLは、他の学習タイプのフィードバック・メカニズムとして統合することもできますが、自己教師あり学習のプロセスにおいてのみ不可欠です。
強化学習（RL）では、フィードバックは報酬や罰則の形で与えられます。RLエージェントは環境と対話し、さまざまな結果につながるアクションを実行します。各アクションの後、エージェントは、結果が目標に対してどの程度良いか悪いかを示すスカラー報酬や罰則の形でフィードバックを受け取ります。
エージェントはこのフィードバックを使用してポリシーまたは意思決定戦略を調整し、時間の経過に伴って累積報酬を最大化することを目指します。フィードバック・ループにより、エージェントは試行錯誤しながら最適な戦略を学習し、環境を探ることで行動を改良していくことができます。
自己教師あり学習では、エージェントはデータから独自のラベルを生成し、データ自体の構造からフィードバックの形式を作成します。このモデルは、データの一部を使用して他の部分を予測します。例えば、文中の欠落した単語を予測したり、動画の今後のフレームを予測したりします。
フィードバックは、実際の欠損データまたは将来のデータとモデルの予測を比較することで得られます。エージェントは、予測誤差を最小限に抑えることで学習し、この自己生成フィードバックに基づいて内部表現を改良します。
生成AIを使用してワークフローとプロセスを自動化する強力なAIアシスタントとエージェントを構築、デプロイ、管理しましょう。
信頼できるAIソリューションでビジネスの未来を構築します。
IBMコンサルティングAIサービスは、企業がAIをトランスフォーメーションに活用する方法を再考するのに役立ちます。