IBM piattaforme di apprendimento automatico
È possibile utilizzare IBM Watson Machine Learning per registrare i dati relativi al payload e al feedback, nonché per misurare l'accuratezza delle prestazioni, rilevare la distorsione durante l'esecuzione, individuare eventuali derive, valutare la spiegabilità e utilizzare la funzione di correzione automatica della distorsione durante la valutazione dei modelli di apprendimento automatico.
Per la valutazione dei modelli di apprendimento automatico sono supportati i seguenti framework: IBM Watson Machine Learning
Tabella 1. Dettagli supporto framework
| Framework | Tipo di problema | Tipo di dati |
|---|---|---|
| AutoAI1 | Classificazione (binaria e multi-classe) | Strutturato (dati, testo) |
| AutoAI | Regressione | Strutturata o non strutturata2 (solo testo) |
| Apache Spark MLlib | Classificazione | Strutturata o non strutturata2 (solo testo) |
| Apache Spark MLLib | Regressione | Strutturata o non strutturata2 (solo testo) |
| Keras con TensorFlow3&4 | Classificazione | Non strutturato2 (immagine, testo) |
| Keras con TensorFlow3&4 | Regressione | Non strutturato2 (immagine, testo) |
| Python function | Classificazione | Strutturato (dati, testo) |
| Python function | Regressione | Strutturato (dati, testo) |
| sc ikit-learn5 | Classificazione | Strutturato (dati, testo) |
| scikit-learn | Regressione | Strutturato (dati, testo) |
| X GBoost6 | Classificazione | Strutturato (dati, testo) |
| XGBoost | Regressione | Strutturato (dati, testo) |
1 Per ulteriori informazioni su AutoAI,, consultare i dettagli di implementazione all'indirizzo AutoAI. Per i modelli in cui i dati di addestramento sono in formato « Cloud Object Storage », non sono supportati gli attributi di equità di tipo booleano. Tuttavia, se i dati di addestramento sono di tipo « Db2 », le valutazioni del modello supportano attributi di equità di tipo booleano. Quando si utilizza l'opzione " AutoAI ", se la previsione del modello è di tipo binario, le valutazioni del modello non sono supportate. È necessario modificare tali modelli in modo che il tipo di dati della previsione sia stringa.
2Le metriche di correttezza e deviazione non sono supportate per i dati non strutturati (immagini o testo).
3Il supporto di Keras non include il supporto per la correttezza.
4 L'esplicabilità è supportata se il modello/framework emette probabilità previsionali.
5 Per generare il modello di rilevamento della deriva, nei notebook è necessario utilizzare la versione 1.3.2 di scikit-learn.
6 Per i modelli binari e a più classi di XGBoost, è necessario aggiornare il modello in modo che restituisca la probabilità di previsione sotto forma di valori numerici per i modelli binari e di un elenco di probabilità per ciascuna classe per i modelli a più classi. Il supporto per il framework XGBoost presenta le seguenti limitazioni per i problemi di classificazione: per la classificazione binaria, ai fini della valutazione dei modelli è supportata la funzione di binary:logisticTrue regressione logistica con un output espresso come probabilità. Per la classificazione multiclasse, nelle valutazioni del modello è supportata la multi:softprob funzione in cui il risultato contiene la probabilità prevista che ciascun punto dati appartenga a ciascuna classe.
Limiti degli abbonamenti XGBoost per i modelli XGBoost nativi
Con l'ultima versione WML, il xgboost_0.82 framework è stato dichiarato obsoleto. Il framework supportato è xgboost_0.90, che deve essere utilizzato in combinazione con Python 3.7. Per abilitare e rendere permanenti le versioni di XGBoost 0.90, Python e 3.7, è necessario applicare le patch agli abbonamenti eseguendo il seguente comando:
PATCH /v2/subscriptions/<subscription_id>
Ad esempio, il comando seguente fornisce l' URL e completo e l'ID dell'abbonamento:
PATCH https://namespace.apps.server.company.com/openscale/00000000-0000-0000-0000-000000000000/v2/subscriptions/18bbe3f9-c550-44e7-b948-675bafcb1c63
Viene restituito il carico utile previsto:
[{
"op": "replace",
"path": "\/asset\/runtime_environment",
"value": "xgboost_0.90"
}]
Una volta che l'abbonamento è stato aggiornato correttamente e il punteggio è stato calcolato, allo schema dei dati di output verrà assegnato il ruolo di modellazione corretto:
{
"metadata": {
"modeling_role": "class_probability"
},
"name": "prediction",
"nullable": true,
"type": "double"
}, {
"metadata": {},
"name": "probability",
"nullable": true,
"type": "double"
}, {
"metadata": {
"modeling_role": "prediction-probability"
},
"name": "prediction_probability",
"nullable": true,
"type": "double"
}, {
"metadata": {
"modeling_role": "prediction"
},
"name": "scoring_prediction",
"nullable": true,
"type": "integer"
}
Modelli AutoAI e dati di training
AutoAI prepara automaticamente i dati, applica algoritmi o stime e crea flussi di modelli che meglio si adattano ai tuoi dati e al tuo caso d'uso. Per analizzare il modello ai fini della valutazione è necessario poter accedere ai dati di addestramento.
Poiché, a differenza dei modelli standard, nella valutazione di un modello di tipo " AutoAI " non viene rilevata automaticamente la posizione dei dati di addestramento, è necessario specificare esplicitamente i dettagli necessari per accedere a tali dati:
- Per il percorso online, in cui si configurano manualmente i monitor, è necessario fornire i dettagli del database da cui è possibile accedere ai dati di addestramento.
- Per il percorso notebook personalizzato, dove si carica la distribuzione dei dati di training, è possibile utilizzare il file JSON prodotto eseguendo il notebook.
Per ulteriori informazioni, consultare la sezione "Dettagli del modello".
Specificare un'istanza del servizio IBM Watson Machine Learning
Il primo passo per configurare le valutazioni dei modelli consiste nello specificare un'istanza di ` IBM ` Watson Machine Learning. L'istanza di Machine Learning è il luogo in cui vengono archiviati i modelli di IA e le distribuzioni.
Prerequisiti
È necessario aver configurato un'istanza di IBM Watson Machine Learning nello stesso account o cluster in cui si trova l'istanza del servizio per le valutazioni dei modelli. Se hai creato un'istanza di IBM Watson Machine Learning in un altro account o cluster, non potrai configurare tale istanza con la registrazione automatica dei payload per le valutazioni dei modelli.
Collega la tua istanza del servizio Machine Learning
È possibile connettersi ai modelli di IA e alle distribuzioni presenti in un'istanza di IBM Watson Machine Learning per eseguire valutazioni dei modelli. Per collegare il tuo servizio, vai alla scheda
Configura, aggiungi un provider di machine learning e fai clic sull'icona
Modifica. Oltre ad un nome e una descrizione e se si tratta di un tipo di ambiente Pre-produzione o Produzione, è necessario fornire le seguenti informazioni specifiche per questo tipo di istanza di servizio:
Se disponi di un'istanza di IBM Watson Machine Learning, l'istanza viene rilevata insieme alle informazioni di configurazione.
Per connettersi a IBM Watson Machine Learning su un'istanza separata di IBM Cloud Pak for Data, è necessario specificare un URL, un nome utente e una chiave API.
Per connettersi a IBM Watson Machine Learning su IBM Cloud, è necessario specificare una regione cloud e una chiave API.
IBM Cloud Pak for Data consente di utilizzare una sola chiave API. Quando si genera una nuova chiave API, quella precedente viene automaticamente revocata. Se aggiorni la chiave API su IBM Cloud Pak for Data, devi aggiornarla anche su Watson OpenScale.
Limitazioni
Quando ci si connette a IBM Watson Machine Learning su un'istanza separata di IBM Cloud Pak for Data, si applicano le seguenti limitazioni:
- La chiave API deve disporre di diritti di amministratore per lo spazio di distribuzione all'indirizzo IBM Watson Machine Learning.
- La registrazione automatica del carico utile non è disponibile. Invia i dati di registrazione del payload utilizzando l'API del set di dati " Watson OpenScale ".
Quando ci si connette a IBM Watson Machine Learning su IBM Cloud, si applicano le seguenti limitazioni:
- La chiave API deve disporre di diritti di amministratore per lo spazio di distribuzione all'indirizzo IBM Watson Machine Learning.
- La registrazione automatica del carico utile non è disponibile. Invia i dati di registrazione del payload utilizzando l'API del set di dati " Watson OpenScale ".
- Durante la valutazione, il carico sui modelli IBM Watson Machine Learning in IBM Cloud aumenta.