エージェント・アシストとの対話

組織内の多層サポート・システムでは、大規模言語モデルを搭載した会話型アシスタント（チャットボット）を人間のエージェントと並行して使用し、エンド・ユーザーに効率的で包括的なアシスタンスを提供できます。

Agent Assistソリューション・アーキテクチャーのワークフロー・チャートとの対話

対話エージェントアシスト・ソリューション・アーキテクチャー内でユーザーの質問をサポートするための主要コンポーネントとその相互作用。

生成AIアーキテクチャー・パターン

Agent Assistによる対話のアーキテクチャーは、上の図に示されています。アーキテクチャー・フローの主な手順は次のとおりです。

製品マニュアル、よくある質問のドキュメント、提供資料、概要、解決済みのサポート・チケットなどのエンタープライズ・ドキュメントは、IBM watsonx Discoveryのインスタンスに取り込まれ、セマンティック検索用に準備されます。
ユーザーは、組織のWebサイト、専用アプリ、またはその他のプラットフォームのインターフェースを通じて、リクエスト、問題、または質問を送信します。このやり取りは、チャットベースのやり取りの主要インターフェースとして機能するIBM watsonx Assistantによって促進されます。
組織のドキュメントまたはナレッジ・ベースからのデータ取得を必要とする要求の場合、IBM watsonx Discoveryが呼び出され、ユーザーの要求に最も関連性の高い情報の一部が検索されて取得されます。
watsonx Assistantはその後、ユーザーのリクエストとwatsonx Discoveryから取得した関連情報を、watsonx.aiでホストされている大規模言語モデル（LLM）に送信します。
LLMは、ユーザーのリクエストと提供された情報をLLMの埋め込み知識と統合し、人間のような応答を生成してwatsonx.aiに返します。この応答は、フォーマットやその他の処理を経て、ユーザーに提示される可能性があります。
ユーザーが生成された応答に満足しない場合（例えば、要求がニュアンスに富み、複雑で、あるいは特定の知識を必要としている）、watsonx Assistantに通話を人間のエージェントにエスカレーションしてもらうことを選択できます。同様に、LLMの応答が信頼性が低い、または攻撃的な可能性があると検知された場合、やり取りは自動的にエスカレーションされることがあります。ユーザーは、どのような状況でも人間の担当者と対話することを選択できます。watsonx Assistantは、企業のコンタクトセンター管理システムを介して、対話を人間のエージェントにスムーズに移行します。
watsonx Assistantのチャット履歴に完全にアクセスできる人間のエージェントが、ユーザーのリクエスト、問題、質問の解決を支援します。
解決後、システムはwatsonx Assistantを通じてユーザーからのフィードバックを求めることができます。このフィードバックは、頻繁に欠落するクエリーやエスカレーションされたクエリーを分析することで、今後のやり取りを改善するのに役立ちます。また、組織がwatsonx.aiでホストされているLLMをチューニングしたり、watsonx Discoveryの検索パラメーターを調整して性能を向上させたりすることも可能です。

IBM製品アーキテクチャー

IBM watsonx製品ファミリーの概念アーキテクチャーへのマッピングは、以下の図に示されています。watsonx Assistantはバーチャル・アシスタント・コンポーネントの対話機能を提供し、watsonx Assistantのアドオンであるwatsonx Discoveryはドキュメントの取り込みとセマンティック検索機能を提供します。watsonx.aiモデル開発およびホスティング環境は、大規模言語モデルの選択、チューニング、テスト、デプロイに使用されます。

IBM watsonx Discovery、watsonx Assistant、およびwatsonx.ai SaaSプラットフォームがソリューション・アーキテクチャーを実現する方法の図解。

オンプレミス／プライベート・デプロイメント

お客様によっては、ローカル・リージョンでwatsonx.aiを利用できないか、セキュリティー上の懸念や規制上の要件により、watsonx.ai SaaSソリューションを使用できない場合があります。このようなクライアントには、watsonx.aiをコンテナ化したサービスセットとして提供し、クライアントのデータセンター内、クラウドサービスプロバイダーのインフラ上の仮想プライベートクラウド（VPC）内、またはその他の場所で稼働するRed Hat Openshift上にデプロイすることができます。

Agent Assistとの対話ソリューションのオンプレミスおよびプライベート・デプロイメントのワークフロー・チャート

watsonx Discovery、watsonx Assistant、watsonx.aiを使用したソリューションの代替オンプレミス・デプロイメント。

アーキテクチャーの決定と考慮事項

生成モデルの選択

プロジェクトに適したモデルを選択するには、多くの要素を考慮する必要があります。

モデルのライセンスによって、その使用方法が制限される場合があります。例えば、モデルのライセンスによって、商用アプリケーションの一部として使用できない場合があります。

モデル・トレーニングに使用されるデータ・セットは、特定のアプリケーションでモデルがどの程度適切に機能するかに直接影響し、モデルが意味をなさない、不快な、または単に望ましくない応答を生成するリスクに大きく影響します。同様に、著作権で保護されたデータやプライベート・データでトレーニングされたモデルは、ユーザーが法的責任を負う可能性があります。IBMは、トレーニング・データの完全な透明性と、モデルに起因する法的請求に対する補償を提供します。

モデルのサイズ、トレーニングに使用したパラメーターの数、コンテキスト・ウィンドウのサイズ（モデルが受け入れ可能なテキストの長さ）は、モデルのパフォーマンス、リソース要件、スループットに影響します。「大きいほど良い」という考え方に従って200億個のパラメーターを擁するモデルを選択することは素晴らしいことかもしれません、リソース要件と精度の向上（これがある場合）を考えると、それが正当化されない可能性があります。最近の研究では、一部のソリューションでは、小さいモデルの方が大きいモデルよりもむしろ大幅に優れていることが示されています。

モデルにファイン・チューニングを加えると、タスクへの適合性に影響する可能性があります。例えば、IBMはGraniteモデルの2つのバージョンを提供しています。1つは一般的なチャット・アプリケーション用に調整されたもので、もう1つは指示に従うように調整されたものです。

モデルを選択する際のその他の考慮事項は次のとおりです。

モデル・パラメーターの選択（例：モデルの温度）により、人間のようなテキストと事実に基づく応答の作成のバランスが取れます。モデルの温度を高い値に設定すると、一貫性はあるものの、面白みに欠ける、または簡潔すぎる応答が生成される可能性があります。一方、温度を低い値に設定すると、応答に多様性がもたらされますが、応答の長さと内容が予測不可能になります。

効果のない結果や不快な結果を防ぐためのモデル・ガードレールの選択と実装。

クライアント・データとユーザー・プロンプトの言語も考慮する必要があります。LLMの大半は英語のテキストでトレーニングを受けており、多くの場合、英語とその他の言語の間で翻訳を行い、それぞれの専門レベルが異なります。多言語またはローカライズされた言語サポートを必要とするアプリケーションでは、サポートされている各言語でトレーニングされた複数のモデルの使用や、多言語インプットを英語または別の「基本」言語に翻訳する翻訳ステップの実装が必要になる場合があります。