LLMのオブザーバビリティーとは?

優れたオブザーバビリティー・ソリューションは、LLMアプリケーション、アプリケーション・プログラミング・インターフェース（API） 、ワークフローから関連するメトリクス、トレース、ログの収集で構成されています。これにより、開発者はアプリケーションを効率的かつ積極的に、大規模に監視、デバッグ、最適化することができます。

大規模言語モデル（LLM）と生成AI（Gen AI）プラットフォームのIBM watsonx.ai®そして、オープンソースのバリエーションが業種・業務で定着しつつあります。この増加により、採用後もモデルやアプリケーションの信頼性、安全性、効率を維持することがこれまで以上に重要になっています。この領域では、LLMのオブザーバビリティーが不可欠になります。

• LLMの品質とアウトプットを監視する：
  LLMによるアウトプットの継続的な評価は、ユーザーにとって有用で適用可能な品質のいくつかの次元に分類できます。これらの側面には、正確性、関連性、一貫性、定義されたメトリクスとの事実的一貫性が含まれます。これらの性能を定期的にチェックすることで、ユーザーがプログラムに対する信頼を失い、LLMを効率的に使用しにくくなる可能性のある遅延や問題を防ぐことができます。
  
  
• 迅速な根本原因分析とトラブルシューティング：
  LLMアプリケーションで重大な障害や予期しない動作が発生した場合、オブザーバビリティーは、目前の問題の根本原因を迅速に特定するのに役立つ洞察を提供します。このレベルのきめ細かなテレメトリにより、利害関係者は一般に、多くの領域においてより高いレベルの信頼性で問題を分離できます。例えば、トレーニング・データの破損、ファイン・チューニングの不適切な設計、外部API呼び出しの失敗、バックエンドのサードパーティー・プロバイダーの停止などです。
  
  
• アプリケーション、ユーザー・エンゲージメント、システム効率の最適化：
  LLMスタック全体を継続的に監視することで、アプリケーションのパフォーマンスとユーザー・エンゲージメントを向上させることができます。レイテンシーや使用トークン、応答時間、スループットなどの主要なメトリクスを追跡し、ボトルネックや制限要因を特定することで、特にRAGワークフローにおけるパフォーマンスの最適化とコスト削減を促進します。インタラクションとユーザー・フィードバックのリアルタイム追跡は、低品質のアウトプットがいつ生成されているかを把握し、問題が発生したときにそれを解決し、根本原因を発見するのに役立ちます。このユーザー行動への一貫した適応により、LLMはカスタマイズされた応答を生成し、ワークフローを最適化し、需要に応じるスケールを性能の悪影響なく行えます。^2、3

LLMの可観測性メトリックは、主に3つの側面に分類できます。

大規模言語モデル（LLM）のオブザーバビリティーは、システムの性能、参考情報、メトリクスを追跡するメトリクスを追跡して初めて実現できる⁴

システム性能メトリクス:

• レイテンシー: インプットからアウトプットまでの期間。モデルの応答時間を表します。
  
  
• スループット：モデルが特定の期間に処理するリクエストの数モデルの負荷の尺度。
  
  
• エラー率：失敗または無効な応答の率モデルの信頼性を反映しています。

リソース使用率メトリクス:

• CPU/GPU使用量:推論中に消費されたリソースを、コストと効率に関連して測定します。
  
  
• メモリ使用量：処理中に消費されたRAMまたはストレージ。パフォーマンスと拡張性にとって重要ですが、この使用法はタスク全体にとっては二次的なものです。
  
  
• トークンの使用状況： 処理されたトークンを追跡します。このステップは、トークンがモデルのコストと関連付けられている場合に特に重要です。
  
  
• スループットレイテンシー比: スループットは、システムのワークロードとそのレイテンシーを表します。両者の間で良いバランスを見つけることが効率化に不可欠です。

モデル行動メトリクス:

• 正確性：モデルが正しい応答を生成する頻度を監視します。
  
  
• 事実の正確さ：モデルが「正しい」事実に基づくアウトプットを提供するかどうかを評価します。
  
  
• ユーザーエンゲージメント:インタラクション時間、フィードバック、満足度を定量化して、エクスペリエンスを推定します。
  
  
• 応答の品質：アウトプットの一貫性、明確性、関連性を測定します。⁵

大量のデータ、複雑なシステム・アーキテクチャー、リアルタイム追跡の必要性から、LLMを手動でモニタリングすることは困難です。ログとメトリクスが豊富なため、問題を迅速に特定することが困難になっています。さらに、手動観測は参考情報の負担が多く、エラーが発生しやすく、システムの拡張に合わせて効果的に拡張できないため、問題検知が遅くなり、トラブルシューティングが非効率的になります。

これらの制限は、LLMにおいてオブザーバビリティーを手動で維持することの困難さを示しており、エンタープライズ環境向けのより洗練された自律的なソリューションの必要性を浮き彫りにしています。⁶

自律型トラブルシューティングとは、エージェント・ベースのシステムを使用した高度な監視方法により、人間の介入を必要とせずに問題を独自に特定、診断、解決できるシステムを指します。エージェントは性能を監視し、異常を特定し、リアルタイム診断を実行するため、システムを人間の介入なしで無人で稼働させることができます。 ⁷

エージェント・ベースの自律的なトラブルシューティングは、次の場合に役立ちます。

• リアルタイム検知:手動でインプットしなくても問題を即座に特定できます。
  
  
• 根本原因分析：AI駆動型のインサイトを使用して問題の原因を特定します。
  
  
• 自動解決： 問題を解決するためにすぐに使用できる事前定義されたソリューションを適用します。
  
  
• 継続的なモニタリング： データに適応して学習し、長期的なトラブルシューティングを改善します。
  
  
• 拡張性： 手作業を大幅に減らして、複雑な大規模環境を効率的に処理します。
  
  
• 予知保全：潜在的な問題を事前に予測することは、ピーク時の性能サイクルでは非常に価値があります。
  
  
• 可観測性との統合： 他の可観測性ツールと連携して問題を迅速に解決します。

大規模に設計されたIBM® Instana®は、今日の複雑なエンタープライズ・オブザーバビリティーにリアルタイムの可視性と自律的なトラブルシューティングをもたらします。

検知、AI駆動型診断、自律的な修復という3段階のプロセスにより、Instanaはエンドツーエンドの自律的なトラブルシューティングを実現し、性能に影響が及ぶ前に問題を確実に検知して修復します ^8。

この機能の詳細については、Instana エージェント型AI ウェイティングリストにご登録ください。

生成AIのスケーリングには、インテリジェントなインストルメンテーション、リアルタイムのLLMモニタリング、効果的なオーケストレーションによる自律的なトラブルシューティングが必要です。データセット、アウトプット、LLM応答の最適化に加え、最適化されたパイプラインとリアルタイムLLMテストによる堅牢なモデル性能の保守は、ユースケースなどのさまざまなユースケースでスムーズなエクスペリエンスを実現するために不可欠です。オープンソースLLMと機械学習ワークフローの使用が拡大しており、埋め込み技術を活用して、さまざまなツールを使用してLLM呼び出しを監視しています。洗練されたLLMオブザーバビリティー観測ツールを統合されたオブザーバビリティー観測プラットフォームとダッシュボードに組み込むOpenTelemetryなどのツールは、最適なモデル性能を提供するスケーラブルで安定したAIシステムを構築するために不可欠である^{9, 10}