AgentOpsとは

AIエージェント市場は、2024年には約50億米ドル、2030年までに約500億米ドルに成長すると予測されています。¹しかし、ワークフローを合理化および自動化するためにAIエージェントを構築する企業が増えるにつれて、それらのエージェントの動作を監視し、意図したとおりに機能するか確認するという新たな課題が生じています。AgentOpsは、エージェントの性能を評価するための新しいベスト・プラクティスの大まかな定義のセットであり、DevOps（ソフトウェア配信を標準化する）とMLOps（機械学習に対して同様のことを行う）の関連分野で確立された原則に基づいています。

しかし、エージェントの管理は、従来のソフトウェアやAIモデルの構築に比べて簡単ではありません。「エージェント」システムは複雑かつ動的であり、本質的には独自の思考力を持つソフトウェアが関与します。エージェントは自律的に行動し、タスクを連鎖させ、決定を下し、非決定的に動作します。AgentOpsの背後にある考え方は、混沌とした領域にオブザーバビリティーと信頼性をもたらし、開発者がエージェントのインタラクションやその他のエージェントの動作のブラックボックスを覗き込めるようにすることです。 

AgentOpsを管理するための単一のツールはなく、エコシステム全体を管理します。最近の調査では、AgentaからLangSmith、Trulensまで、Githubやその他のコードリポジトリで、この実践に関連する17のツールが発見されました（野心的な名前のAgentOpsツールの1つは、単に「AgentOps」と呼ばれています）。これらのツールは通常、IBMのwatsonx AgentやOpenAIのAgent SDKなど、開発者が選択したエージェント・フレームワークのサポートを提供します。この白熱した空間では、AutoGen、LangChain、CrewAI（後者はマルチエージェントシステムのオーケストレーションに最適化されている）など、多くの人気のプラットフォームとフレームワーク が登場しています。

たとえば、カスタマー・サポートチケットを処理するために構築されたAIエージェントは、さまざまなツールを使用してさまざまなタスクを処理する1つ以上の大規模言語モデル（LLM）で構成されている可能性があります。エージェントのワークフローには、受信Eメールの監視、会社のナレッジベースの検索、サポートチケットの自動作成などが含まれる場合があります。

このようなエージェントのデバッグは複雑で、その多様な動作により、潜在的な障害や非効率性が発生するポイントが複数生じます。しかし、エージェント監視を使用すると、開発者はエージェント実行の段階的なセッションの再生を実行し、AIがいつ何を行ったかを観察できます。担当者は適切なカスタマー・サポートのドキュメンテーションを参照しましたか？ツールの使用パターンはどのようなもので、どのAPIが使用されていましたか？各ステップのレイテンシーはどのくらいでしたか？最終的なLLMのコストはいくらですか？エージェントは他の人とどれくらいうまくコミュニケーションしたり協力したりできましたか？

AIエージェントの動作を監査する計画を立てずに放置するのは、例えば、ティーンエージャーにクレジット・カードを与えて、その結果の明細書を見ないのと同じことです。Agency AIのCOOであるAdam Silverman氏は最近、Google for Developersのブログで、タスクごとに異なるLLMを使用することでコストを削減できると述べました。これは、エージェントの長期的な費用対効果を最適化するために調整できる多くのパラメータの1つです。²

さらに掘り下げて、開発者は、さまざまなプロバイダー（AzureやAWSなど）間での各LLMインタラクションのコストなど、エージェントのエンドツーエンドの動作を追跡できます。開発者は、エージェントのライフサイクルのさまざまな段階のデータを使用して、このようなメトリクスのダッシュボードをリアルタイムで確認できます。反復的なベンチマークを通じて、開発者はエージェントの最適化に向けて取り組むことができます。

AgentOpsを実行するために普遍的に合意された手段はなく、複数のツールやアプローチが利用できます。（実際、以前よりはるかに確立された前身用語であるDevOpsは、人によって意味が少し異なります）。6月のIBM Thinkコンファレンスにおいて、IBM ResearchはAgentOpsへの独自のアプローチを発表し、エンタープライズエージェント型AI ユースケースでオブザーバビリティーをサポートするために重要と考えられる3つの主要な重点分野を特定しました。

まず、IBM Researchは、オープンソースのソフトウェア開発キット（SDK）であるOpenTelemetry（OTelmetry）標準に基づいてAgentOpsソリューションを構築し、さまざまなエージェント・フレームワークで自動化と手動の両方の計測が可能となりました。次に、OTEL上にオープン分析プラットフォームを構築し、ユーザーがエージェントの動作を内部で詳細に調べる際に高いレベルの解像度を実現しました。このプラットフォームは拡張可能であるため、新しいメトリクスを簡単に追加できます。そして第3に、これらの分析自体がAIを活用しており、マルチトレース・ワークフロー・ビューや軌道探索などの独自の視点を可能にしています。

IBM Researchは、AgentOpsアプローチを使用して、Instana、Concert、ApptioなどのいくつかのIBM Automation® 製品の構築を支援しました。IBM が独自のエージェントソリューションを市場に投入するにつれ、AgentOpsの側面は、信頼できるAIを拡張するためのwatsonx.ai開発者スタジオおよびwatsonx.governanceツールキットの主要な機能になりました。

しかし、AgentOpsには多くのアプローチがあり、この分野は目まぐるしいスピードでワークフローを導入する業界のニーズを満たすために急速に進化しています。

AgentOps のベスト・プラクティスは、エージェントのライフサイクルのすべてのフェーズに適用でき、また適用する必要があります。

開発：このフェーズでは、開発者はエージェントに特定の目的と制約を与え、様々な依存関係とデータパイプラインをマッピングします。

テスト：本稼働環境にリリースする前に、開発者はシミュレートされた「サンドボックス」環境でエージェントがどのように動作するかを評価できます。

モニタリング：デプロイ後、開発者はインストルメンテーションの成果を調べ、セッション、トレース、またはスパンのレベルでエージェントのパフォーマンスを評価できます。開発者は、エージェントのアクション、API呼び出し、およびエージェントの動作の全体的な継続時間 (またはレイテンシー) をレビューできます。

フィードバック：このフェーズでは、ユーザーと開発者の両方が、エージェントがミスをしたり、一貫性のない動作をしたりしたときに登録するためのツールと、エージェントが次回実行時にパフォーマンスを向上させるためのメカニズムにアクセスする必要があります。

ガバナンス：生成AIに対する規制当局の監視（例：欧州AI規制法）が強化され、新しい倫理的枠組みが進化するにつれて、開発者はエージェントの行動を制限し、コンプライアンスを確保するのに役立つ一連のガードレールとポリシーを必要としています。