Gestione di una distribuzione per un modello di base personalizzato

Dopo aver distribuito un modello di base personalizzato, puoi gestire e aggiornare la distribuzione.

Puoi gestire e aggiornare un modello di fondazione distribuito da un IU dello spazio di distribuzione o in modo programmatico.

Gestione delle distribuzioni del modello di base personalizzate dallo spazio di distribuzione

Puoi accedere, aggiornare, ridimensionare, eliminare e monitorare le prestazioni della distribuzione del tuo modello personalizzato nel tuo spazio di distribuzione.

Accesso ai dettagli di distribuzione dallo spazio di distribuzione

Attenersi alla seguente procedura per esaminare o aggiornare i dettagli di distribuzione:

  1. Dalla scheda Distribuzioni del tuo spazio di distribuzione, fai clic sul nome di una distribuzione.
  2. Fare clic sulla scheda Dettagli di distribuzione per accedere alle informazioni correlate alla distribuzione del modello di base personalizzato.
Nota: se la propria organizzazione utilizza uno dei casi di utilizzo per tenere traccia e gestire gli asset, le informazioni di distribuzione per un asset tracciato vengono registrate in un factsheet nel caso di utilizzo associato.

Aggiornamento dei dettagli di distribuzione da uno spazio di distribuzione

È possibile aggiornare i dettagli per la distribuzione del modello di base personalizzato, come il nome, il nome di servizio, la descrizione e le specifiche hardware. Per ulteriori informazioni, vedi Aggiornamento di una distribuzione.

Ridimensionamento di una distribuzione in uno spazio di distribuzione

Puoi ridimensionare la distribuzione aumentando il numero di copie create per la distribuzione. Per ulteriori informazioni, vedi Ridimensionamento di una distribuzione.

Eliminazione di una distribuzione da uno spazio di distribuzione

Puoi eliminare la distribuzione del tuo modello di base personalizzato quando non ne hai più bisogno, per liberare risorse. Per ulteriori informazioni, consultare Eliminazione di una distribuzione.

Nota:

Nei flussi di lavoro in cui il modello di base personalizzato viene utilizzato periodicamente, è consigliabile assegnare al modello lo stesso nome di servizio ogni volta che lo si distribuisce. In questo modo, dopo aver eliminato e poi reinstallato il modello, potrai continuare a utilizzare lo stesso endpoint nel tuo codice.

Monitoraggio delle prestazioni di distribuzione da uno spazio di distribuzione

È possibile valutare la distribuzione del modello di base personalizzato per misurare le prestazioni e comprendere le previsioni del modello eseguendo il provisioning di una istanza di Watson OpenScale e configurando i monitor per la correttezza, la qualità, la deviazione e l'esplicabilità. Per ulteriori informazioni, consultare la sezione "Valutazione delle distribuzioni".

Gestione di una distribuzione del modello di base personalizzata in modo programmatico

Puoi accedere, aggiornare, ridimensionare, eliminare e monitorare le prestazioni della tua distribuzione del modello personalizzato in modo programmatico.

Aggiornamento programmatico di una distribuzione

Per aggiornare o eliminare una distribuzione in modo programmatico, per prima cosa ottieni l'elenco dei modelli distribuiti per trovare i metadati corretti per la distribuzione.

Ottenimento dell'elenco di modelli distribuiti

Ottenere l'elenco di distribuzioni per l'ID progetto specificato. Per filtrare tutte le distribuzioni che puntano a modelli di fondazione personalizzati, utilizza il parametro di query type=custom_foundation_model . Fare riferimento a questo codice di esempio:

curl -X GET "https://<cluster_url>/ml/v4/deployments?version=2024-01-29&project_id=<your project ID>&type=custom_foundation_model" \
-H "Authorization: Bearer $TOKEN"

Campi che puoi aggiornare in un modello distribuito:

  • name
  • description
  • tags
  • serving_name
  • asset
  • hardware_spec
  • /online/parameters
  • /online/parameters/serving_name
  • /online/parameters/foundation_model (solo modelli che utilizzano runtime di inferenza standard)

Per informazioni sui parametri dei modelli disponibili, consultare la sezione "Proprietà e parametri dei modelli di fondazione personalizzati".

Nota:
  • I modelli di serie temporali non richiedono alcun parametro. Non specificare alcun parametro quando si aggiorna un modello personalizzato di serie temporali. Se si specificano dei parametri durante l'aggiornamento di un modello personalizzato di serie temporali, questi non avranno alcun effetto.
  • I modelli che utilizzano runtime di inferenza personalizzati non accettano aggiornamenti dei parametri.

Ad esempio:

curl -X PATCH "https://<cluster_url>/ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/name",
 "value": "<updated deployment name>"
}]'

Eliminazione della distribuzione in modo programmatico

Se vuoi eliminare la distribuzione del tuo modello di fondazione personalizzato, utilizza questo codice:

curl -vk -X DELETE "https://<cluster_url>/ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" -H "Authorization: Bearer $TOKEN"

Monitoraggio delle prestazioni di distribuzione da uno spazio di distribuzione

È possibile valutare la distribuzione del modello di base personalizzato per misurare le prestazioni e comprendere le previsioni del modello eseguendo il provisioning di una istanza di Watson OpenScale e configurando i monitor per la correttezza, la qualità, la deviazione e l'esplicabilità. Per ulteriori informazioni, consultare la sezione "Valutazione delle distribuzioni".

Ridimensionamento programmatico della distribuzione

Vedi Ridimensionamento programmatico di una distribuzione.

Passi successivi

Inferire un modello di base personalizzato