Metrica di valutazione della produttività record
La metrica della velocità di elaborazione dei record misura il numero di record elaborati dal modello di distribuzione al secondo.
Dettagli metrica
Il throughput record è una metrica di throughput e latenza per le valutazioni del monitoraggio dello stato del modello che calcola il throughput monitorando il numero di richieste di punteggio e di record di transazione elaborati al secondo.
Ambito
La metrica della produttività record valuta le risorse di IA generativa e i modelli di apprendimento automatico.
- Compiti di IA generativa :
- Riepilogo del testo
- Classificazione testo
- Generazione di contenuto
- Estrazione di entità
- Risposta alle domande
- Recupero Generazione Aumentata (RAG)
- Problema di apprendimento automatico :
- Classificazione binaria
- Classificazione multiclasse
- Regressione
- Lingue supportate : inglese
Processo di valutazione
La media, il massimo, la mediana e il minimo della produttività dei record per le richieste di scoring e i record delle transazioni vengono calcolati durante le valutazioni del monitor di integrità del modello.
Per calcolare la metrica di throughput record, viene utilizzato un valore di " response_time " (tempo di elaborazione) delle richieste di scoring per monitorare il tempo necessario all'implementazione del modello per elaborare le richieste di scoring.
Per le distribuzioni Watson Machine Learning, il valore response_time viene rilevato automaticamente quando si configurano le valutazioni.
Per le distribuzioni esterne e personalizzate, è necessario specificare il valore " response_time " quando si inviano richieste di scoring per calcolare il throughput e la latenza, come mostrato nel seguente esempio dell'SDK di Python :
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
client.data_sets.store_records(
data_set_id=payload_data_set_id,
request_body=[
PayloadRecord(
scoring_id=<uuid>,
request=openscale_input,
response=openscale_output,
response_time=<response_time>,
user_id=<user_id>)
]
)