AI アプリケーション用の API をサポートするための AI Gateway の使用

AI Gateway の機能により、 の ポリシーに直接アクセスすることができます。 DataPower API Gateway AI Gateway AI Gateway使用してAIモデルへのアクセスを制御するRESTプロキシを作成し、AIモデルのセキュリティとガバナンスを強化しながら、APIインフラストラクチャ内でAIアクセスを管理するシームレスな方法を提供することができます。

AI Gateway を使用すると、企業は AI アプリケーションで使用される API エンドポイントへのアクセスを簡単に管理できます。 AI Gateway は、AIサービスによって公開される一連の操作にアクセスするための API Connect の新規および既存の OpenAPI 3.0 APIへのAIの統合を簡素化する。

ユース・ケース

AI Gatewayを使用する必要があるのは、以下の 2 つの場合です。

• 既存の API のリバース・プロキシーとして

  この場合、AIサービスとのAPI契約は変更されない。

• AIサービスを利用した新しいAPIの開発ツールとして。

  API Connect」で直接APIを作成し、APIワークフローでポリシーを定義してAIサービスへのアクセスを管理できる。

ベネフィット

API Connect AI Gatewayを使用すると、コンプライアンス義務をサポートするために、ポリシーの適用、データ暗号化、機密データのマスキング、アクセス制御、監査証跡などを通じて AI の使用を一元的に管理することができます。

AIサービスへのAPIアクセスを管理するために「AI Gateway使用すると、以下の機能を通じてAPIの実行に制御を加えることができる：

• 各AIサービスへのインターフェース

  API Connect は、APIが指定されたAIサービスにリクエストを送信できるようにするポリシーを提供する。

• レスポンスのキャッシュ

  AIサービスへのAPIコールのレスポンスはキャッシュされ、APIコールのレスポンスタイムを改善し、APIプロバイダーのコスト最適化を提供する。 API Connect で API を作成する際に、その API のレスポンス・キャッシュの期間を指定できます。

• 速度制限

  AI Gateway は、APIとAPIプラン（個々のAPIへのアクセスを管理する）に対して、定義された料金制限を実施する。 特定の時間間隔内で許可される要求または生成されたトークンの数に基づいて、レート制限を構成できます。

• トークン化

  トークンは、LLM API のコストの単位として使用されます。 AI Gatewayでは、レート制限は、使用量を制限し、コストを制御する手段として、要求によって生成されたトークンの数を使用できます。 トークン・リミットは、指定された期間内にゲートウェイを通過できるトークンの数を決定する。

• 事前定義されたポリシーおよびロジック構造

  AI Gateway は、APIの実行フローにおいて、 API Connect が提供する既存のポリシーやロジックコンストラクト（例えば、invoke、redact、validate）をすべて使用することができる。

• API 分析

  API Connect は、 AI Gateway の使用状況に関する洞察を提供する分析サービスを提供します。 「AI 使用状況」 ダッシュボードの分析データを使用して、コストを管理し、パフォーマンスを追跡することができます。 詳しくは、 API Manager UI での分析へのアクセスを参照してください。

AI Gateway」は以下のAIサービスをサポートしている：