Instana における AI の評価

評価者を作成する

まず、LLMの出力を評価するために使用する評価基準を定義することから始めましょう。

手順 1: 「評価者」タブに移動します

「 評価者 」タブをクリックして、評価者を表示または作成します。

ステップ2：評価者の種類を選択する

既製の評価ツール：

Instana すぐに使える5つの評価ツールを提供しています：

• 正確性 ：期待される結果に対して、出力が正しいかどうかを評価する
• 関連性 ：検索結果が入力されたクエリとどの程度関連しているかを評価する
• 完全性 ：出力がクエリの内容を完全に網羅しているかどうかを評価する
• 論理的一貫性 ：回答の論理的な整合性を確認する
• 明瞭さ ：出力がどれほど明確で理解しやすいかを測る

カスタム評価関数：

特別な評価が必要な場合は、カスタム評価機能を作成してください：

1. 「カスタム 」オプションを選択してください
2. 以下の詳細を指定します。
   • 名前 ：評価者に関する説明的な名前
   • 評価基準 ：独自の評価ロジックを定義する
     • 提供されたプレースホルダーを参考にしてください
     • 「優れた成果物」とはどのようなものかを、明確かつ具体的に示す基準を作成してください
   • 閾値 ：評価の合格基準となる最低スコア（0～1）を設定します
     • この基準値以上であれば、「合格」と判定されます
     • 以下のスコアは「不合格」と判定されます
3. 評価者を保存する

カスタム評価器が、評価定義で使用可能になりました。

評価を定義する

評価対象のトレースと使用する評価器を指定する評価定義を作成します。

手順 1: 「評価定義」タブに移動します

「 評価の定義 」タブをクリックしてください。

ステップ 2: 新しい評価定義を作成する

1. 「定義を作成」 をクリック
2. 評価するトレースを選択してください ：
   • UIトレースセレクターを使用する
   • トレースを絞り込むために、時間範囲（例：過去24時間、過去7日間、カスタム範囲）を適用します
   • 先に進む前に、選択したトレースをプレビューしてください
3. 評価者を選択 ：
   • 「評価者」タブで作成された利用可能な評価者のリストから選択してください
   • 評価のニーズに応じて、1人以上の評価者を選択してください
   • 各評価器は、選択されたトレース上で独立して実行されます
4. 評価の詳細を入力してください ：
   • 名前 ：評価にわかりやすい名前を付けてください
   • 説明 ：本評価の目的と範囲について説明してください（任意）
5. 評価定義を保存する

評価の実行準備が整いました。

ステップ3：実行し、評価結果を確認する

評価実行の結果を監視および分析します。

評価を実行する

1. [ 評価の定義] タブから、利用可能な評価の一覧を表示します
2. 評価を実行するには、 「アクション 」列の下にある再生ボタンをクリックしてください
3. 評価プロセスが開始され、バックグラウンドで実行されます

「評価実行」タブでの結果の表示

「 評価実行 」タブ（デフォルトの表示）に移動すると、以下の内容が表示されます：

実行レベルの概要：

• 実行開始時刻 ：評価が開始された時刻
• 評価名 ：評価定義の名前
• 評価者 ：今回の実行で使用された評価者のリスト
• トレース数 ：評価されたトレースの総数
• 所要時間 ：評価を完了するまでの時間
• 実行状況 ： COMPLETED (すべての評価者が正常に完了)、 FAILED (少なくとも1人の評価者が失敗)、 または IN-PROGRESS (評価者がまだ実行中)

評価者レベルの詳細：

実行に含まれる各評価者については、以下を参照してください：

• 評価項目の名前 ：メトリクスの名前（評価項目の名前と同じ）
• スコア ：評価対象となったすべてのトレースの平均スコア
• 合格率 ：閾値を満たしたトレースの割合
• 所要時間 ：この評価者が要した時間
• 合格/不合格数 ：合格したトレースの数と不合格だったトレースの数
• ステータス ： PENDING、 IN-PROGRESS、 COMPLETED、 INCOMPLETE、 PASSED、 FAILED、 または UNDEFINED

1. あらかじめ用意された評価器から始める

カスタム評価器を作成する前に、まず標準的な評価器（正確性、関連性、網羅性、論理的一貫性、明瞭性）を用いて、基準となる指標を確立してください。

2. 適切な閾値を設定する

• まずは適度な閾値から始めましょう（例： 0.5 ) を確認し、その結果に基づいて調整する
• ユースケースによって、必要な閾値が異なる場合があります
• 合格率を監視し、品質基準に合わせて合格基準を調整する

3. 評価者を統合し、包括的な評価を行う

1回の評価に対して複数の評価者を選択し、異なる品質の側面を同時に評価することができます。 各評価プログラムは独立して実行され、独自のスコアと合否判定を算出します。 例:

• 事実ベースのQ&Aシステムにおける正確性と網羅性
• カスタマーサポート用チャットボットにおける関連性と明瞭さ
• 重要な本番システム向けの5つの既製評価ツールすべて

4. 代表的なサンプルを評価する

• 典型的なユーザー操作を表すトレースを選択してください
• 時間ベースのフィルターを使用して、直近の生産データを分析する

5. カスタム評価者のガイドライン

カスタム評価器を作成する際は：

• 明確で具体的な評価基準を作成する
• 評価者の説明にあるプレースホルダーテキストに従ってください
• 本番運用前にサンプルデータでテストしてください
• 目的と期待される動作を文書化する

評価実行が開始されない

• AIゲートウェイの設定を確認する ： WatsonX の認証情報が有効であり、ゲートウェイが有効になっていることを確認してください
• トレースと評価子の選択を確認してください ：トレースと評価子の両方が選択されている場合にのみ、評価を作成できます

合格率が低い

• しきい値の設定を確認してください ：使用状況によっては、しきい値が高すぎる可能性があります
• 失敗したトレースを調査する ：トレースが失敗する原因のパターンを探す
• 評価基準の検証 ：基準が実際の要件と一致していることを確認する

評価の実行が遅い

• トレース数を削減 ：より小さなバッチで評価を行い、結果を迅速に得る
• 評価者の数を減らす ：評価者の数を減らすことで、評価プロセスを高速化する

結果が見つかりません

• 完了を待つ ：評価は非同期で実行されます。ステータスを確認してください
• エラーメッセージを確認する ：実行ステータスの応答にあるエラーフィールドを確認してください