Configurazione di modelli aggiuntivi in BI di watsonx

È possibile scegliere di installare altri modelli per modificare il modo in cui la BI di watsonx gestisce determinati carichi di lavoro.

Prima di iniziare

È necessario installare il servizio BI di watsonx. Per ulteriori informazioni sulle risorse necessarie per i diversi modelli, consultare la sezione Requisiti GPU per i modelli.

Informazioni su questa attività

Gli unici modelli necessari per la BI di watsonx sono granite-3-8b-instruct e ibm-slate-30m-english-rtrvr. È possibile scegliere di aggiungere le seguenti configurazioni opzionali del modello:
ibm-slate-30m-english-rtrvr sulla GPU
Per impostazione predefinita, il ibm-slate-30m-english-rtrvr modello viene eseguito sulla CPU. Se hai carichi di lavoro elevati, puoi scegliere di eseguire il ibm-slate-30m-english-rtrvr modello sulla GPU.
OpenAI gpt-oss-120b
Il modello gpt-oss-120bOpenAI è un modello opzionale. Se desideri eseguire ragionamenti avanzati e personalizzabili in query BI complesse, puoi installare il gpt-oss-120b modello.
Patch 1 Per le attività di generazione SQL e altre funzioni basate su modelli linguistici in watsonx BI, è possibile utilizzare l' OpenAIgpt-oss-120b.

Procedura

Per installare modelli opzionali su una BI di watsonx :

  1. Verifica quali modelli sono installati:
    oc get watsonxaiifm watsonxaiifm-cr \
-n ${PROJECT_CPD_INST_OPERANDS} \
-o jsonpath="{.spec.install_model_list}"
  2. Installa i modelli desiderati su BI di watsonx :
    • Esegui il ibm-slate-30m-english-rtrvr modello sulla GPU modificando la risorsa personalizzata:
      oc patch watsonxaiifm watsonxaiifm-cr \
--namespace=${PROJECT_CPD_INST_OPERANDS} \
--type=merge \
--patch='{"spec":{"ibm_slate_30m_english_rtrvr_replicas": 1, "ibm_slate_30m_english_rtrvr_resources": {"limits": {"cpu": "2", "memory": "4Gi", "nvidia.com/gpu": 1}, "requests": {"cpu": "1", "memory": "4Gi", "nvidia.com/gpu": 1}}}}'
    • Installa il modello gpt-oss-120bOpenAI :
      MODEL_LIST="${MODEL_LIST}, \"gpt-oss-120b\""
  3. Aggiornare la risorsa watsonxaiifm personalizzata:
    oc patch watsonxaiifm-cr \
-n ${PROJECT_CPD_INST_OPERANDS} \
-\-type=merge \
-\-patch="{\"spec\":{\"installed_model_list\":[${MODEL_LIST}]}}"
  4. Verificare che i modelli siano stati aggiunti alla spec sezione della risorsa watsonxaiifm personalizzata:
    oc get watsonxaiifm watsonxaiifm-cr \
-n ${PROJECT_CPD_INST_OPERANDS} \
-o jsonpath="{.spec.install_model_list}"

Cosa fare successivamente

Se hai installato il modello " gpt-oss-120bOpenAI ", selezionalo aprendo " watsonx BI ", quindi andando su "Configurazione e impostazioni" > "Impostazioni modello ".

Una volta installati e selezionati i modelli, BI di watsonx è pronto per l'uso. Per iniziare a utilizzare la BI di watsonx, consulta la guida introduttiva alla BI di watsonx.