外部プロンプト用のデプロイメントの作成

外部でホストされている大規模言語モデル（LLM）のプロンプトテンプレートを評価するための、モデルを推論せずにデプロイメントする独立したデプロイメントを作成します。

ガバナンスプロセスの一環として、 IBM が作成またはホストしていない生成AIモデル向けのプロンプトテンプレートを評価できます。 たとえば、 Google のVertex AIモデル、 Azure の OpenAI モデル、または AWS のBedrockモデル用のプロンプトテンプレートを評価できます。 この種の評価では、すべての推論はリモートモデル上で実行される。 生成されたプロンプト出力に対して評価が実行される。

この種の資産独立プロンプトテンプレートと呼ばれます。 プログラムによって作成されなければならない。 ただし、 デプロイメント・スペーススペース内で独立したプロンプトテンプレートを評価するには、. を作成することで実現できます 分離デプロイメント。 分離デプロイメントを作成すると、以下の利点と機能を利用できます:

• プロジェクトまたはスペース内でプロンプトテンプレートを評価すると、評価結果を確認する際に豊かな体験が得られます。
• プロジェクトやスペースへのアクセス制御を使用して、必要に応じて共同作業者を招待したりアクセスを制限したりできます。
• ガバナンスソリューションの一環として、AIユースケースにおけるファクトシートで評価結果を追跡する。