AIゲートウェイ

以下のLLMサービスに対してLLMゲートウェイを作成できます：

• watsonx.ai (IBM Cloud)
• watsonx.ai （ OpenShift 上でセルフホスティングし、データには Cloud Pak を使用（ Instana のバージョン 1.0.313 以降））
• vLLM-compatible 推論サービス（ Red Hat AI Inferencing Server (RHAIIS) を含む）（パブリックプレビュー）

生成AI機能は以下の大規模言語モデル（LLM）によってサポートされています

• ibm-granite/granite-3.3-8b-instruct
• mistral-medium-2505
• mistralai/Mistral-Large-Instruct-2407
• openai/gpt-oss-120b （ IBM 製品ではありません）

Instana でサポートされている生成AI機能のうち、LLMゲートウェイとの連携設定が可能なものは以下の通りです：

• AI アシスタント
• インシデントの要約
• インシデント調査
• Kubernetes AIアシスタント
• 手動アクション生成
• スクリプト生成
• SLOアシスタント

Instana のUIでジェネレーティブAIの全機能を利用するには、以下のユーザー権限が必要です：

• AIゲートウェイへのアクセス：AIゲートウェイのUIへの読み取り専用アクセスを有効にします
• LLMゲートウェイの作成、設定、削除：AIゲートウェイのUIへのフルアクセスを有効にします
• すべてのジェネレーティブAI機能を利用可能： Instana のUIからAIを活用した機能にアクセスできるようになります

詳細については、 「ユーザーアクセスの管理」 を参照してください。

LLMゲートウェイを設定および構成するには、次の手順を完了してください。

1. 接続を設定する。

   1. ナビゲーションペインで 「AIゲートウェイ」 をクリックします。 LLMゲートウェイのペインが表示されます。
   2. LLMゲートウェイを作成をクリックしてください。 LLMゲ ートウェイ作成ウィザードが表示されます。
   3. 接続を設定するを選択してください。
   4. 接続設定で、LLMゲートウェイへのアクセスに使用する以下のサービスのいずれかを選択してください：
      • IBM watsonx : watsonx を設定する場合は、以下の詳細を入力してください：
        • watsonx API キー : watsonx サービスへのアクセス認証用 API キー。
        • watsonx プロジェクト名 ：プロジェクトの名称。
        • watsonxURL : watsonx サービス向けの URL。
      • vLLM ：外部の vLLM-based （仮想大規模言語モデル）サービスを設定する場合は、以下の詳細を入力してください：
        • エンドポイント URL : vLLM サービスがホストされている URL。
        • エンドポイントの API キー（任意） ：エンドポイントに安全にアクセスするための認証キー。
   5. 設定を確認するには、 「接続テスト」 をクリックしてください。
      • IBM watsonx について：接続に失敗した場合は、 API キー、プロジェクト ID、および URL が正しく、有効であることを確認してください。 テストが成功したことは、 Instana が watsonx サービスと通信できることを確認するものです。
      • vLLM の場合：接続に失敗した場合は、エンドポイント URL にアクセスできること、および API のキーが正しいことを確認してください。 テストが成功したことは、 Instana が vLLM サービスと通信できることを確認するものです。
   6. 次へ をクリックします。
   注：vLLM サービスでは、 Kubernetes のAIアシスタント機能はサポートされていません。

2. 機能とAIモデルを選択してください。

   1. 「 機能とAIモデルの選択」 セクションで、以下の機能のいずれかを選択してください：
      • AI アシスタント
      • 手動アクション生成
      • インシデントの要約
      • インシデント調査
      • スクリプト生成
      • SLOアシスタント
   2. AIモデルを選択してください：
      • Granite ：汎用モデル
      • ミストラル（中級）：バランスの取れた性能
      • ミストラル（大型）：複雑なタスクに対応する高容量
      • Openai/gpt-oss-120b: 分析や洞察が必要な業務において。 （SLOアシスタントには openai/gpt-oss-120b モデルが必要です）
   3. 「次へ」をクリックして続行します。

3. モデルを設定する。

   1. モデルの動作を微調整するには、以下のパラメータを設定してください：
      • トークン制限（単位：千） ：リクエストごとの最大トークン数（例： 100）。
      • 最大遅延時間 ：応答時間の最大値（例： 1 秒）。
      • 反復ペナルティ ：反復されるフレーズを抑制する（例： 1）。
      • 温度 : ランダム性を制御します（例: 0.2 から まで 1）。
      • top_k : サンプリングするトークンの数（例: 50）。
      • top_p : 累積確率のしきい値（例: 0.5）。
   2. 次へをクリックして進むか、 戻るをクリックして修正してください。

4. ゲートウェイの詳細を入力してください。

   1. 名前 : ゲートウェイに固有の名前を入力してください。
   2. 説明 : ゲートウェイの説明を入力してください。

5. 「作成」 をクリックして設定を完了してください。

設定済みのLLMゲートウェイを確認するには、ナビゲーション ペインで 「AIゲートウェイ」 をクリックします。 LLM ゲートウェイテーブルが表示され、設定済みの全ゲートウェイとそのステータスが表示されます。 それらを有効化または無効化し、設定の詳細を確認できます。

LLMゲートウェイを作成したら、接続をテストして正常に動作するか確認できます。

既存のゲートウェイをテストするには、以下の手順を実行してください：

1. Instana のUIにあるナビゲーションメニューから、 「AIゲートウェイ」 を選択します。
2. 「 LLMゲートウェイ 」テーブルで、テストしたいゲートウェイの 「テスト」 をクリックします。 このテスト結果により、接続が正常に機能しているかどうかがわかります。