トレースの詳細の理解

プレビュー

処理されたメッセージの詳細なトレース情報を確認することで、エージェントが各ステップをどのように実行したかを正確に把握できます。 トレース詳細ビューを開くには、まずエージェント分析ページに移動し、エージェントを選択します。 Traces テーブルで、調査したいメッセージを見つけ、 そのステータス値(例:SuccessまたはError)をクリックします。 この操作により、メッセージの実行経路の詳細な内訳を表示する新しいウィンドウが開きます。

トレースの詳細を使用して、次のことができます:

  • エージェントが実行した正確なランタイムパスを追跡する。

  • エージェントが使用したモデルとプロンプトを確認する。

  • 各ステップ間で受け渡される入力、出力、および中間結果を理解する。

トレースの詳細全体を表示するには、トレーステーブル内のメッセージステータスをクリックしてください。 別のウィンドウが開き、メッセージの詳細なトレースが表示されます。

以下のセクションを使用して、さまざまな種類のランタイムの問題を探索してください:

ワークフロー実行トレース

エージェント分析トレースの詳細

ツールフローのトレース

トレース詳細ビューを使用してエージェントフローをデバッグします。 エージェントがツールフロー呼び出しを開始すると、ツール実行のトレースがインラインで表示されます。これにより、エージェントの動作を完全に可視化でき、ツール関連のトラブルシューティングを効果的に行うことができます。

トレースビューは、LLMの動作とツールフロー操作を分離します。 この分離はあなたに役立ちます:

  • モデル上の決定から実際のツール実行までの流れを理解する。

  • ツールの成果をエージェントの意思決定と関連付ける。

  • 文脈におけるツールの動作を確認することでフローロジックを検証する。

  • ボトルネックを特定し、ツールのパフォーマンスを最適化し、レイテンシを削減する。

ツール関連のスパンスは二つのカテゴリに分類される:

  1. 工具準備手順

  2. ツール実行手順

工具準備手順

ツールが実行される前に、システムはツールが実行可能な状態であることを確認するため、いくつかのチェックを実行します。 これらのステップはトレースビューでスパンとして表示されます:

  • ツール実行のための接続を取得する

このスパンは、エージェントがツールまたはランタイム環境との接続を確立する様子を示しています。 ツールが利用可能であり、必要な認証情報や設定が整っていることを保証します。

  • ツールのヘルスチェックを実行する

このスパンは、ツールが利用可能で応答可能であることを確認します。 ヘルスチェックにより、ツールがリクエストを受け入れ正しく応答できることが確認された後、実行を続行します。 ヘルスチェックが失敗した場合、ツールフローは中断され、トラブルシューティングは接続性またはツールの準備状態の問題に焦点を当てる必要があります。

ツール実行手順

  • ネットワークトリップ開始 (wxo-server) : サービス wxo-server からのリクエストの開始を示します。 この範囲には、LLMコンテキスト、ツールへの入力、ツール呼び出しからの出力、トークンなどの重要な詳細が含まれます。

ネットワーク旅行開始

  • ツール-ランタイム-マネージャー API の開始 : このスパンのターミナル状態はランタイムの種類によって異なります。 IBM の社内ツールにおいて、このスパンは終端ではありません。 IBM の社内ツールでは、開始 tools-runtime-manager APIは通常、終端APIではありません。

ツール-ランタイム-マネージャー API を開始

  • ツール実行環境または実際のツール実行を開始 : ツール実行環境への着信API呼び出しを含み、実際のツール実行の開始を示すインデントされたスパンとツール名を表示します。

ツールの実行環境または実際のツールの実行を開始する

知識検索の軌跡

トレースの詳細は、エージェントが知識をどのように取得し使用するかを調査するのにも役立ちます。 これらの詳細情報は、メッセージ処理中に発生した事象の理解や、欠落・誤り・不完全な応答などの問題の診断に役立ちます。

トレースデータを使用して:

  • 検索フェーズにおけるリクエストと応答のレビュー

  • 回答生成中にリクエストとレスポンスを検証する。

  • 後処理ステップと関連する指標を評価する。

この可視性により、知識の使用状況を検証し、問題を効率的に解決できます。

ワークフロー実行トレース

エージェントワークフローを構築する際には、トレースを使用して、エージェントとワークフローの両方によって実行される一連のアクションを分析およびトラブルシューティングできます。 トレースは、ユーザーリクエストが最初から最後までどのように処理されるかを可視化します。

制限事項: 現在、トレースはエージェントによって開始されたワークフローでのみ利用可能です。

ワークフローのトレースの構成

エージェントがワークフローを開始すると、トレースは次のように整理されます:

  • ユーザー入力からワークフロー完了までのリクエスト全体が、単一のトレーススパンに表示されます。

エージェントは、エージェント型ワークフローを「ツール」として扱う。 その結果、エージェントのツール実行に関連するトレースイベントがトレースシーケンスの最初に表示される。

  • ツールランタイムマネージャ(TRM)はワークフローを実行し、すべてのワークフローイベントはTRMスパンの下にネストされる。

  • ワークフローに複数のユーザーアクティビティが含まれる場合、それらのアクティビティの実行は、ワークフローを開始した同じトレース内で順次記録されます。 この構造は、ワークフロー実行中に発生する一連のイベントの全体像を提供します。

デバッグレベルのフィールドへのアクセス

知識を有効化したエージェントの場合:

  1. サービスと操作で、 wxo-server を開き、 tools.task > タグを選択します

  2. traceloop.entity.output にスクロールしてください。

  3. アーティファクトを展開 > デバッグ

エージェント分析デバッグレベル

主要な実行時フィールド

デバッグビューは情報を以下のカテゴリに整理します:

  1. コールアウト

    • llm

      • generated_token_count生成された応答内のトークンの数。

      • input_token_count入力メッセージ内のトークンの数。

      • model_id使用されたモデルの識別子。

      • request

        • search_resultsナレッジ検索ステップから返された結果。

      • responseユーザーに送信される最終的な出力。

        • is_idk_response応答は、アシスタントが「わかりません」という回答で返答したかどうかを示します。

        • response_type返されるメッセージの種類(例:テキストまたはオプション)。

        • textユーザーに表示される応答メッセージ。

      • success応答ステータスは、応答が正常に配信されたかどうかを示します。

  2. 検索

    • engine使用されているランタイム検索エンジン。

    • index検索対象のインデックス。

    • query実行時に発行された検索クエリ。

    • request外部サービスに送信される検索リクエスト。

      • bodyリクエストの完全な内容(クエリやフィルターなど)。

      • method使用された HTTP メソッド、例えば POST または GET

      • pathリクエストのエンドポイントパス。

      • portリクエストで使用されるネットワークポート。

      • url外部サービスエンドポイントの完全な URL。

    • responseリクエスト送信後に外部サービスから返される出力。

      • bodyレスポンスで返される完全な内容(取得された文書やデータなど)。

  3. メトリック

    • answer_generation_time_ms応答を生成するのにかかった時間。

    • search_time_ms知識検索に費やした時間。

    • total_time_msフルRAGパイプラインの総処理時間。

  4. その他

    • is_multi_turn前ターンの文脈が、現在のターンの回答生成に使用される。

これらの詳細情報は、レイテンシの問題を特定し、検索失敗のトラブルシューティングを行い、モデルの入力を検証するのに役立ちます。

次のタスク

トレースの詳細の構造を理解したら、 トレースの読み方に関する実践的なガイダンスに進んでください。 このページでは、トレースビューアに表示される視覚的手がかりを活用して、スパンを効果的に解釈し、エージェントのパフォーマンスを評価し、潜在的な問題を診断する方法について説明します。