AIとの相互作用の調査

AIとのやり取りを調査・理解するには、トレース機能を使用して実行の詳細を記録し、AIエージェントがリクエストをどのように処理したかを確認します。 トレース機能を利用することで、予期せぬ動作のトラブルシューティング、ツールやモデルの動作の確認、および実行タイムラインの分析が可能になります。

トレースビューアを使用して、実行状況を可視化し、会話のやり取り、実行ステップ、ツールの呼び出し、およびパフォーマンス指標を確認します。

トレースの有効化と無効化

トレース機能は、有効になっている間、すべてのエージェント型AIリクエストに関する詳細な実行情報を記録します。

トレースデータの収集を開始するには、 AI チャットウィンドウで 「トレース 」のトグルを「 オン」 に切り替えてください。 次に、分析したいシナリオを再現してください。

トレースは最大10分間有効です。 10分後、パフォーマンスへの影響を最小限に抑えるため、トレースは自動的に停止します。 また、 「トレース 」のトグルを手動で 「オフ」 に切り替えることで、トレースを停止することもできます。

収集の停止を追跡する場合、システムは収集されたトレースデータを自動的にファイル usage.json としてダウンロードします。 このファイルをTrace Viewerにインポートすることで、実行の詳細を分析し、潜在的な問題を特定することができます。

トレース・ファイルの内容

ダウンロード usage.json されたファイルには、トレースされたエージェント型AIのリクエストに関する診断情報が含まれています。 実行内容に応じて、このファイルには次のような詳細情報が含まれます:

  • リクエストおよび実行のメタデータ。
  • 会話の話題が変わる。
  • モデルの呼び出し。
  • ツールの起動と実行状況。
  • 実施スケジュール。
  • トークンの使用方法。
  • レイテンシおよびパフォーマンス指標。
  • 実行フローに関する情報。
  • エラーの詳細。

この情報は「トレースビューア」で確認できるほか、問題の調査時に開発チームやサポートチームとファイルを共有することもできます。

トレースファイルをトレースビューアにインポートする

ダウンロード usage.json したファイルをTrace Viewerにインポートし、キャプチャされたデータを可視化・分析します。 トレースビューアは、ファイル usage.json に記録されたデータをインタラクティブに可視化します。

トレースファイルをトレースビューアにインポートするには、開発 Sterling Order Management System 者ツールキット(DTK)から以下の手順を実行してください。

  1. チャットアプリで、ナビゲーションサイドパネルから「 トレースビューア 」を選択します。
  2. 「JSONをインポート」 をクリックし、ダウンロード usage.json したファイルを選択してください。

トレースファイルが読み込まれ、分析のためにトレースビューアに表示されます。

取得したデータの確認

Trace Viewer は、リクエストがどのように処理されるかを視覚的に表示し、エージェント、モデル、およびツールがリクエストをどのように処理するかを示します。 トレースビューアでトレースデータを確認し、リクエストの処理状況を把握し、潜在的な問題を特定します。 トレースデータは、次のような点で役立ちます。

  • AIエージェントがリクエストをどのように処理したかを理解する。
  • 想定されたモデルやツールが使用されたことを確認してください。
  • ツールの呼び出し順序を確認してください。
  • 失敗した操作やタイムアウトした操作を特定する。
  • 実行タイムラインとパフォーマンス指標を分析する。
  • 成功したリクエストフローと失敗したリクエストフローを比較してください。
  • 問題を調査する際は、開発チームやサポートチームとトレース情報を共有してください。
Trace Viewer には、いくつかのセクションが含まれています。
会話の話題が
「The Conversation turns 」セクションには、トレースセッション中に記録されたユーザーの操作が表示されます。 会話のターンを選択すると、それに関連する実行の詳細が表示されます。
ターン概要
ターン概要 」セクションには、選択された会話のターンに関する情報が表示され、以下のデータが含まれます:
  • 実行状況
  • ユーザー・メッセージ
  • セッション ID
  • 要求 ID
  • 実行ステップ数
  • 中断状態
実行タイムライン
実行タイムライン 」セクションには、会話のターンにおける実行ステップの順序が、実行ステータスや所要時間を含めて表示されます。 個々のステップを展開すると、エージェントのアクティビティ、モデルの呼び出し、ツールの呼び出し、エラーなどの詳細を確認できます。
実行フロー
実行フロー 」セクションには、リクエストがエージェントやツールをどのように通過したかが視覚的に表示されます。 このビューを使用して、ノードを展開または折りたたみ、実行パスを把握し、エージェントの活動をより詳細なレベルで確認してください。

ベスト・プラクティス

  • 問題を調査する直前に、トレースを有効にしてください。
  • 問題の再現に必要な操作のみを行ってください。
  • 問題を再現したら、トレース機能をオフにしてください。
  • トレースビューアでキャプチャしたトレースを確認してください。
  • 問題を報告する際は、ファイルを usage.json 添付してください。
  • ファイルを共有する前に、その usage.json ファイルを変更しないでください。