AIオブザーバビリティーとは

従来のオブザーバビリティー・ツールは、ログ、トレース、メトリクスというオブザーバビリティーの3つの柱を用いて、複雑なシステムの内部状態や状況を把握します。AIアプリケーションやAIエージェントは、従来よりも複雑性が増すため、専用のオブザーバビリティー・ツールが必要です。このツールは、AI固有の出力を監視し、（多くの場合AIが生成する）可視化を作成することで、モデルのパフォーマンス最適化に役立ちます。

従来のソフトウェアとは異なり、大規模言語モデル（LLM）やその他の生成AIアプリケーションの出力は確率的です。同一の入力でも異なる応答が返ることがあり、入力がどのように出力に影響するかを追跡しにくくなります。その結果、従来のオブザーバビリティー・ツールでは対応が難しい場合があります。そのため、生成AIシステムではトラブルシューティング、デバッグ、パフォーマンス監視がより複雑になります。

さらに、AIの説明可能性は、多くのAIモデルが持つ“ブラックボックス”的な性質を減らすことを目指す分野として注目が高まっていますが、モデルがより広範なITシステムやワークフローとどのように相互作用するのかは、まだ十分に説明できていません。AIオブザーバビリティー・ソリューションは、効果的に測定・分析できる対象を優先する必要があります。OpenAIやGoogleなどのサードパーティーのモデルを利用する場合、モデルの実行と管理が非公開で行われるため、こうした優先順位付けは特に重要です。

AIエージェントは、ITエコシステム全体にわたるワークフローを自律的に設計して実行するシステムです。オブザーバビリティーに固有の課題をもたらすため、データ収集にもそれに応じた独自のアプローチが求められます。経営層のほぼ半数は、IBM Institute for Business Valueが2025年に実施した調査で、エージェント型AIの導入における重要な障壁として「エージェントの意思決定プロセスが可視化できないこと」を挙げました。これらのシステムを導入するには、オブザーバビリティーが不可欠です。

AIオブザーバビリティーは、技術スタック全体からAI固有のメトリクスをリアルタイムで収集し、ダッシュボードに整理することで機能します。AIオブザーバビリティーにより、管理者はAIモデルの内部動作をより深く把握でき、ボトルネックやハルシネーション、レイテンシーなどの一般的な課題を軽減できます。

オブザーバビリティー・プラットフォームは、ログ、トレース、メトリクスという3つの主要なテレメトリーに注目します。これらにはAIシステムに特有のバリエーションもあります。

ログは、アプリケーションイベントの詳細で、タイムスタンプが付与された、完全かつ改変できない記録です。ログを使用すると、周辺のコンテキストも含めて、ITシステム内のすべてのイベントをミリ秒単位で高精度に記録できます。AI開発では、開発者がトラブルシューティングやデバッグにログを使用します。

トレースは、ユーザーからの各リクエストがたどるエンド・ツー・エンドの「経路」を記録します。ユーザーインターフェースやモバイル・アプリケーションから始まり、アーキテクチャーとAIモデル全体を通過し、ユーザーに戻るまでを追跡します。

メトリクスは、アプリケーションやシステムの健全性を時間の経過とともに把握するための基本指標です。例えば、アプリケーションが5分間に使用するメモリーやCPU容量、あるいは利用が急増した際にアプリケーションでどの程度のレイテンシーが発生したかを測定するために使用されます。

AIエージェントや生成AI、大規模言語モデルなどのAIシステムは、独自のテレメトリー・データも生成します。管理者が実行可能な洞察を得るには、これらを収集して分析する必要があります。

トークン使用量、モデル・ドリフト、応答品質は、多くのAIオブザーバビリティーの取り組みにおける3つの中核的なデータポイントです。これらを監視することで、モデルのライフサイクル全体にわたるパフォーマンス問題を抑え、ユーザー体験を向上させることができます。

また、GPU使用率、ネットワークインフラストラクチャーのボトルネック、ユーザーインターフェースのフィードバックなど、より従来型のテレメトリー・データもあります。これらも、モデルに関連する場合はAIオブザーバビリティー・ツールで収集できます。

トークンとは、AIモデルが理解できる言語の個々の単位のことで、通常は単語または単語の一部です。インプットの理解やアウトプットの生成のためにモデルが処理するトークンの数は、LLMベースのアプリケーションのコストと性能に直接影響します。トークンの使用量が増えると、運用コストが増加し、応答待ち時間が長くなる可能性があります。

トークンの使用状況を追跡するための主なメトリクスは次のとおりです。

• トークンの使用率とコストは、運用コストを定量化する助けになります。
  
  
• トークン効率：各トークンがやり取りの中でどれだけ効果的に使われているかを示す指標です。効率的なやり取りは、消費するトークン数を最小限に抑えながら、高品質な出力を生成します。
  
  
• トークン使用パターン：プロンプトの種類別の傾向を把握することで、リソース消費の大きいモデル利用を特定できます。

これらのメトリクスにより、より少ないトークンで多くの情報を伝えられるようプロンプトを改善するなど、トークン消費を減らす最適化の機会を特定できます。トークンの利用を最適化すれば、応答品質を維持しながら、機械学習ワークロードの推論コストを削減できる可能性があります。

従来のソフトウェアとは異なり、AIモデルは、実世界のデータが変化するにつれて、望ましくない形で徐々に振る舞いが変化していくリスクがあります。この現象はモデル・ドリフトと呼ばれ、AIシステムの信頼性とパフォーマンスを大きく低下させる可能性があります。

モデル・ドリフトを追跡するための主なメトリクスは次のとおりです。

• 応答パターンの変化：時間の経過に伴う変化を追跡し、新たに生じる不整合を特定します。
  
  
• 出力品質のばらつき：モデルのパフォーマンス低下を示す可能性のある品質や関連性の変化を把握します。
  
  
• レイテンシーやリソース利用率の変化：計算上の非効率を示すシグナルとなる場合があります。

ドリフト検知メカニズムは、特定のユースケースでモデルの精度が低下した際に早期警告を提供し、モデルが業務を阻害する前にチームが介入できるようにします。

信頼性とコンプライアンスを維持するためには、AIのアウトプットの質をモニタリングすることが不可欠です。メトリクスを追跡するための主なメトリクスは次のとおりです。

• ハルシネーション発生頻度：プロンプトの種類別に、誤った出力を引き起こす可能性のある要因を特定します。
  
  
• 事実精度：生成された応答の正確性です。ただし、この指標は外部での検証と人による監督が必要になることが少なくありません。
  
  
• 出力の一貫性：類似した入力に対する出力を比較し、経時的なモデルの安定性を検証します。
  
  
• 応答の関連性：ユーザーのプロンプトに対する応答の適合度を評価し、モデルがユーザーの意図にどれだけ沿っているかを確認します。
  
  
• レイテンシーの追跡：ユーザー向けAIアプリケーションでは、速度と精度の間でトレードオフが生じることが多いため重要です。プロンプトの種類ごとに応答時間を監視することで、パフォーマンスのボトルネックや計算上の非効率を特定しやすくなります。

OpenTelemetry（OTel）は、テレメトリー・データを収集して送信するためのオープンソース・フレームワークであり、AIがもたらすオブザーバビリティーの課題を緩和するのに役立ちます。

AIプロバイダーにとって、OpenTelemetryは、独自のモデルの詳細やソースコードを公開せずに、パフォーマンスデータの共有方法を標準化する手段となります。エンタープライズにとっては、複数のモデルやさまざまな依存関係、検索拡張生成（RAG）システムなどを含む複雑なAIパイプラインでも、オブザーバビリティー・データが一貫して流れることを保証します。

AIオブザーバビリティーにおけるOpenTelemetryの主な利点は次のとおりです。

• ベンダー非依存：特定のオブザーバビリティー・プラットフォームへのロックインを回避できるため、AI技術の進化に合わせて柔軟性を維持しやすくなります。
  
  
• エンドツーエンドの可視性：テレメトリー・データが、AIアプリケーション・インフラストラクチャーのすべてのコンポーネントから一貫して流れます。
  
  
• 将来性の確保：AI技術の進化に伴いOpenTelemetry標準も適応できるため、オブザーバビリティー戦略を継続的に有効なものとして維持できます。
  
  
• エコシステムの統合：オープン・スタンダードにより、マルチベンダーのAIソリューションとハイブリッド導入モデル全体のオブザーバビリティが可能になります。
  
  
• メタデータの標準化：OpenTelemetryはベンダー中立のため、開発者はAI関連の重要なメタデータを取得でき、利用するオブザーバビリティー・バックエンドやベンダーにかかわらず、スタック全体の可視性を維持できます。

ネットワーク内で高い自律性と自動化を備えるAIエージェントには、オブザーバビリティー・プラットフォーム側で特別な注意が必要です。特に、システム内で実行されるアクションと、それらのアクションに伴うログやトレースを対象とします。

AIエージェントの価値を高める機能、つまりLLMの活用、過去の会話の想起、外部ツールの利用は、監視、理解、制御を難しくする要因にもなります。

AIエージェントが実行する可能性のある一般的なアクションとしては、検索エンジンと連携するためにアプリケーション・プログラミング・インターフェース（API）を呼び出す、LLMを呼び出してテキストを生成する／ユーザー入力を理解する、リクエストを担当者にエスカレーションする、セキュリティー侵害やコンピュートの利用可能性低下に関する自動警告を通知するといったものがあります。

これらの機能によってエージェントは自律的に動作できますが、明示的に定義されたルールとロジックに基づく従来型のアプリケーションに比べると、透明性は大幅に低くなります。こうしたエージェント型プロセスに関連するデータを追跡することで、管理者はエージェントの振る舞いを把握でき、コンプライアンス違反や運用上の障害、そしてそれに伴うユーザーの信頼低下を防ぐのに役立てられます。

AIエージェントのオブザーバビリティーで収集される固有のログには次のものがあります。

• ユーザーインタラクションログ：ユーザーとAIエージェントのすべてのやり取りを記録します。
  
  
• LLMインタラクションログ：エージェントとLLMのやり取りを記録します。
  
  
• ツール実行ログ：エージェントが使用するツールや計測（インストルメンテーション）、使用したタイミング、送信したコマンド、返ってきた結果を測定します。
  
  
• エージェント意思決定ログ：利用可能な場合に、AIエージェントがどのように意思決定や特定のアクションに至ったかを記録します。

AIオブザーバビリティーのメリットには、モデル利用コストの管理、コンプライアンス対応の容易化、モデル自体の改善が含まれます。

AIを活用したツールがITエコシステムとどのように連携しているかについて、より深い洞察を得ることで、無駄なリソースを特定できます。例えば、組織が、モデルに割り当てた処理能力のごく一部しか使用していないことを把握した場合、DevOpsチームは、リソースを縮小したり、必要性の高い箇所へ再配分したりできます。

AIオブザーバビリティー・ツールは、コンプライアンス監査に備え、AIエージェントのテレメトリー・データを自動的に収集、処理、保管できます。欧州連合（EU）のAI法（AI Act）をはじめ、米国で提案されている各州の規制などにより、AIの業務利用を標準化し、モデルで使用される個人情報（PII）を保護する取り組みが加速しています。その中で、監査対応の重要性が高まっています。

モデル開発者にとって、オブザーバビリティー・ツールが収集するテレメトリーの量は、モデル・ドリフトの抑制、最も価値が高く有用な（または最も問題の多い）機能の特定、バイアスと公平性の確認に役立ちます。

AIオブザーバビリティーは、テレメトリー・データを通じてAIシステムを理解する取り組みです。一方、機械学習オブザーバビリティーは、AIツールがモデルレベルでどのようにデータを使用しているかに、より焦点を当てています。

モデルが取り込み学習するデータは常に変化するため、機械学習のテレメトリーを理解することは重要です。モデルの内部動作まで掘り下げて理解することで、モデルがドリフトした／効果が低下したという事実だけでなく、その理由も把握できます。

機械学習オブザーバビリティー（多くの場合LLMオブザーバビリティーも含む）の主要メトリクスは、モデル品質、モデルが取り込むデータ自体、モデルと周辺インフラストラクチャーの相互作用を測定します。

モデルの種類によって、オブザーバビリティー・プラットフォームが追跡する品質メトリクスは異なります。

データを事前定義したクラスに分類する分類モデルでは、一般的なパフォーマンスメトリクスとして次のものがあります。

• 正解率：総予測数に対する正しい予測数
  
  
• 適合率と再現率：選択された項目の関連性を示す指標
  
  
• F1スコア：これらのメトリクスを組み合わせた指標として広く使用されています

一方、回帰モデルは、モデルの予測値と実際のデータポイントの平均との差の平均を測定する二乗平均平方根誤差などのメトリクスで評価されることが一般的です。

機械学習オブザーバビリティーでは、入力データとトレーニング・データの大きな乖離、予測の統計的分布の変化といったデータ・ドリフトを測定できます。また、欠損値や誤った値、無効な値タイプなどのデータ品質メトリクスも測定できます。これらのメトリクスを使用することで、機械学習オブザーバビリティー・ツールは、モデル・ドリフトを理解するための根本原因分析を実施したり、発生前に防いだりできます。

機械学習オブザーバビリティーでは、モデルに関連する可能性のある、より従来的なメトリクスも測定されることが少なくありません。例えば、レイテンシー、メモリー使用量、スループット、一定時間当たりにモデルが実行できる予測数などです。