[Opcional] Armazenando a configuração do seu modelo de gateway de IA

Se sua watsonx™ Orchestrate instalação usa modelos de fundação em um cluster remoto ou externo, você deve armazenar a configuração do modelo do gateway de IA antes de executar uma verificação das funções de serviço para watsonx Orchestrate.

Se você estiver executando watsonx Orchestrate com modelos de base locais, poderá usar o SFC sem a etapa a seguir.

As verificações de funcionalidade do serviço são opcionais. Você pode usar o health service-functionality comando para executar uma versão reduzida dos fluxos de trabalho do usuário para avaliar as capacidades operacionais do watsonx Orchestrate. Veja detalhes sobre a funcionalidade do serviço de saúde.

Pré-requisitos

Você deve armazenar a configuração do modelo do gateway de IA no cofre interno. Se o cofre interno não estiver disponível, peça ao administrador da instância para reativar o cofre interno. Certifique-se de que o Base-64 codificou a carga útil para registrar modelos no AI Gateway, que é a mesma carga útil que você usa em Registrar modelos externos por meio do AI Gateway.

A amostra de Base-64 carga útil codificada,
ewoKICAgICJuYW1lIjogInZpcnR1YWwtbW9kZWwvd2F0c29ueC9tZXRhLWxsYW1hL2xsYW1hLTMtMi05MGItdmlzaW9uLWluc3RydWN0IiwKCiAgICAiZGlzcGxheV9uYW1lIjogInZpcnR1YWwtbW9kZWwvd2F0c29ueC9tZXRhLWxsYW1hL2xsYW1hLTMtMi05MGItdmlzaW9uLWluc3RydWN0IiwKCiAgICAicHJvdmlkZXJfY29uZmlnIjogewoKICAgICAgICAiYXBpX2tleSI6ICI8d3guYWktYXBpLWtleT4iLCAKCiAgICAgICAgIndhdHNvbnhTcGFjZUlkIjogIjx3eC5haS1zcGFjZWlkPiIsIAoKICAgICAgICAiY3VzdG9tSG9zdCI6ICI8d3guYWktaG9zdG5hbWU+IiAKCiAgICB9LAoKICAgICJkZXNjcmlwdGlvbiI6ICJzdHJpbmciLAoKICAgICJ0YWdzIjogWwoKICAgICAgICAiZGVmYXVsdCIgCgogICAgXSwKCiAgICAibW9kZWxfdHlwZSI6ICJjaGF0IiwKCiAgICAiY29ubmVjdGlvbl9pZCI6ICJzdHJpbmciCgp9

Amostra de carga útil,

{
  "name": "virtual-model/watsonx/meta-llama/llama-3-2-90b-vision-instruct",
  "display_name": "virtual-model/watsonx/meta-llama/llama-3-2-90b-vision-instruct",
  "provider_config": {
    "api_key": "<wx.ai-api-key>",
    "watsonxSpaceId": "<wx.ai-spaceid>",
    "customHost": "<wx.ai-hostname>"
  },
  "description": "string",
  "tags": [
    "default"
  ],
  "model_type": "chat",
  "connection_id": "string"
}

Armazenar um segredo

  1. Na tela inicial do CPD, clique no menu hambúrguer no canto superior esquerdo e vá para Configurações e Ajustes. Selecione Cofres e Segredos e selecione a guia Segredos.
  2. Clique em Novo Segredo e preencha os seguintes campos:
    1. No campo Nome, insira sfc-wxo-secret. O código busca a lista de segredos e a filtra usando esse nome, portanto, é preciso ter cuidado e fornecer esse mesmo nome.
    2. No campo Descrição, insira
      AI gateway model
                configuration for service functionality checks
    3. No menu suspenso Cofre, selecione Cofre interno.
    4. No menu suspenso Tipo de segredo, selecione Chave.
    5. Insira a carga útil codificada Base64.
  3. Clique em Criar.

O quê fazer em seguida

  1. Você pode executar a verificação das funções de watsonx Orchestrate serviço executando o comando health service-functions. Para obter mais informações, consulte funcionalidade do serviço de saúde.