モニター・エージェント

ダッシュボードの概要

エージェント分析を開くと、ダッシュボードがエージェントのパフォーマンスを素早く概観できるスナップショットを提供します。 このビューを使用して、全体的な活動を把握し、異常なパターンを検出し、どのエージェントをさらに調査する必要があるかを判断します。

詳細	説明
メッセージ総数	選択した期間中にエージェントが処理したメッセージの件数（成功した応答と失敗した応答を含む）を確認してください。
失敗したメッセージ	エラーが発生したメッセージの数を確認してください（例：タイムアウトや応答失敗など）。 失敗の急激な増加は通常、設定ミス、ツール接続の断絶、または予期せぬモデル動作を示している。
平均待ち時間	エージェントの平均応答時間を確認してください。 レイテンシの増加は、モデルの呼び出しが遅いこと、ツール操作の非効率性、またはワークフローのボトルネックを示している可能性があります。
モニター	選択したエージェントに対して監視が有効かどうかを示します。 ライブエージェントの監視をオンまたはオフに切り替えることができます。 詳細については、 エージェントの監視を参照してください。

メトリクスはエージェントの実行に伴い自動的に更新されます。 異常な値（故障率の急激な上昇やレイテンシの急増など）が確認された場合、直ちに個々のエージェント記録を詳細に分析したり、メッセージレベルのトレースを開いて何が起きたかを把握できます。 ダッシュボードには、ドラフト環境と本番環境の両方でメッセージを処理したエージェントからのデータが反映されます。

エージェントの指標を表示する

エージェント分析テーブルを使用して、各エージェントのパフォーマンスを一目で確認できます。 エージェントがどれほど積極的に使用されているか、エラーに遭遇する頻度、そして応答の速さを理解するのに役立ちます。

表は次のことを示しています：

詳細	説明
名前	エージェント名。
説明	エージェントの目的に関する簡単な説明。
メッセージ	処理されたメッセージの総数。
失敗したメッセージ	エラーとなったメッセージの数。
平均待ち時間	平均メッセージ処理時間。

この情報を使用して、エージェント間のメッセージ量を比較し、失敗率が高い、または応答が遅いエージェントを特定し、最近の変更がパフォーマンスを改善したか、新たな問題を引き起こしたかを確認できます。

エージェントのトレースを表示する

エージェントのメッセージレベルのトレースを開くことで、その動作を詳細に調査できます。 エージェント分析テーブルでエージェント名をクリックすることから始めます。 これによりトレースビューが開き、エージェントが各メッセージをどのように処理したかを段階的に確認できます。

トレーステーブルの各行には以下が表示されます：

詳細	説明
タイムスタンプ	メッセージが処理された時間。
トレース ID	メッセージの固有識別子。
状況	応答が「成功」か「エラー」か。
モデル	応答を生成するために使用される大規模な言語モデル。
待ち時間	エージェントがメッセージを処理するのにかかった合計時間。

トレースビューを使用して、パターンを発見したり、障害を調査したり、エージェントが期待通りに応答したかどうかを検証したりします。 トレースは、問題のあるメッセージを特定し、モデルやプロンプト間のレイテンシを比較し、更新後もエージェントが一貫した動作をするかどうかを確認するのに役立ちます。

エージェントがメッセージを処理した詳細な内訳（モデルの決定、ツールの実行、知識の取得、ワークフローアクションを含む）を確認するには、トレース詳細ビューを開くことができます。 トレース詳細の理解ページでは、実行パス内の各スパンについて構造化された段階的なビューを提供し、複雑な問題の診断をより効果的に行えるよう支援します。

モニタリングの主な目的と利点

エージェント分析により、総メッセージ数、失敗したメッセージ、平均遅延時間、トレース詳細などの主要指標を確認できます。 モニタリング機能では、 IBM、 watsonx Orchestrate、および watsonx.governance の間で送受信されるリアルタイムのメッセージを追跡することで、この機能を拡張します。 これらの知見を組み合わせることで、以下のことが可能になります：

• エージェントのパフォーマンスと利用傾向を監視

• エラーや異常を早期に検出

• 速度を向上させ、遅延を削減する

• 可観測性とトラブルシューティングを強化する

• エージェントをチューニングし、進化させるためのデータ駆動型の基盤を提供する

watsonx.governance の監視に必要な前提条件

監視を有効化する前に、すべての要件が満たされていることを確認してください：

• エージェントはデプロイされ、アクティブである必要があります。 watsonx Orchestrate のダッシュボードには、デプロイ済みのエージェントのみが表示されます。

• watsonx Orchestrate では、Builder または Admin の権限が必要です。

• IBM の watsonx Orchestrate インスタンスと同じ IBM Cloud リージョン内に、稼働中の watsonx.governance インスタンスが必要です。

  • まだお持ちでない場合は、インスタンスを作成してください。 「 IBM Cloud アカウントの設定 」を参照してください。

• インスタンスがサポートされているリージョンでプロビジョニングされていることを確認してください。

• 管理者およびビルダーは、以下のアクセスグループを設定する必要があります：

  • Writer および watsonx OrchestrateEditor の権限

  • Reader および watsonx.governanceEditor の権限。 「アクセスグループの設定」 を参照してください。

• watsonx.governance のユーザーは、設定済みのデータベースを所有している必要があります：

  • ライトプランにはデフォルトでデータベースが含まれます。

  • Essentialプランでは、ユーザーが提供するデータベースが必要です。 「 IBM Cloud 」の「 watsonx.governance 」の設定方法については、こちらをご覧ください。

エージェントの監視を有効にする

監視を有効にすると、システムはエージェントトレースに加えて分析データの追跡と収集を開始します。これによりパフォーマンスに関する洞察が得られ、最適化に役立ちます。 エージェント分析ページまたはビルドエージェントとツールページから有効にできます。

モニター結果の表示

ダッシュボードでは、エージェントのパフォーマンスと評価指標を一元的に確認できます。 ダッシュボードアイコンは、エージェントの監視が有効になっている場合にのみ表示されます。 ダッシュボードは以下の機能を提供します：

• 利用状況指標（ユーザー数およびメッセージ数）

• パフォーマンス指標（トークン数、レイテンシ、失敗したメッセージ）

• 技術的指標（忠実度、ツール呼び出しの関連性、その他）

• 会話レベルおよびメッセージレベルのログ

ダッシュボードのアイコンをクリックして 、監視の詳細を表示してください。

詳細については、 「AIエージェントおよびエージェント型アプリケーションの評価」 を参照してください。

既知の問題

監視および分析に関連する既知の問題については、 「監視および分析の既知の問題」 を参照してください。