Cos'è il ciclo di vita dell'AI?

Il ciclo di vita dell'AI comprende tutto, dalla decisione iniziale di risolvere un problema specifico con l'AI, fino all'uso attivo di un modello addestrato in un workflow reale. Il concetto di cicli di vita dell'AI è strettamente legato alle discipline delle Operazioni di machine learning (MLOps) e dei Sistemi di gestione dell'AI (AIMS), che comportano entrambe approcci sistematici allo sviluppo, alla governance e alla manutenzione dell'AI.

Al centro del concetto di cicli di vita dello sviluppo dell'AI c'è il fatto che le soluzioni AI non vengono progettate o implementate in isolamento: sono sistemi dinamici la cui efficacia duratura dipende da una pianificazione attenta e un monitoraggio diligente. Esistono dipendenze fondamentali tra le singole fasi del processo di sviluppo e le implementazione dell'AI, e comprendere queste dipendenze è fondamentale per costruire soluzioni AI di successo, scalabili e sostenibili.

Questo articolo analizzerà ciascuno dei passaggi essenziali del ciclo di vita dell'AI.

La prima e probabilmente più importante fase della gestione del ciclo di vita dell'AI è la fase di pianificazione, in cui identifichi il caso d'uso per la tua applicazione: il problema che intendi risolvere con l'AI e le attività specifiche che l'AI può svolgere per aiutarti a risolverlo. Tutte le decisioni successive devono riferirsi a quelle prese durante il processo di pianificazione.

È essenziale essere accurati e tenere conto di tutti gli imprevisti. Trascurare alcune considerazioni non fa risparmiare lavoro: non fa altro che rimandarlo e renderlo più gravoso. Tutti gli stakeholder dovrebbero essere coinvolti e consultati nella fase di pianificazione, sia per trarre beneficio dalla loro particolare esperienza o prospettiva, che per garantire il consenso su come procedere andando avanti.

• Definisci l'ambito del tuo progetto di AI. Su quali aspetti del problema dovrebbe agire o aiutarti la tua soluzione di AI? Quali aspetti sono esclusi?

• Definisci le tue esigenze. Nelle aree problematiche per cui userai l'AI, cosa esattamente vuoi che faccia? È importante capire cosa è fattibile e cosa no, sia in termini di funzionalità AI esistenti che di risorse disponibili per portare avanti questo progetto.

• Definisci il successo. Sia dal punto di vista qualitativo che (soprattutto) quantitativo, cosa determina un risultato positivo? Stabilire in anticipo le metriche di successo consente di guidare le decisioni di progettazione e di governare lo sviluppo e l'ottimizzazione del suo sistema di AI.

• Valuta i rischi. Individua eventuali modi in cui la tua soluzione AI, così come definita finora, potrebbe avere un impatto negativo sulla tua organizzazione o sui tuoi utenti. I rischi etici, quelli reputazionali e finanziari dovrebbero essere segnalati e affrontati prima di passare alla fase di raccolta dei dati, soprattutto considerando che una gestione dei dati inadeguata è spesso la fonte di tali rischi.

A livello tecnico, la qualità e la quantità dei dati di addestramento sono il fattore più importante per l'efficacia dei modelli AI. 

Considera che tutto il machine learning si basa sul riconoscimento applicato dei pattern. Un modello di machine learning addestrato utilizza i modelli che ha "imparato" dai dati di addestramento per dedurre l'output ottimale per un dato input. È necessaria una qualità dei dati sufficiente per garantire che i pattern appresi corrispondano a quelli dei nuovi dati su cui effettuerà inferenze nelle applicazioni reali. Per garantire che il modello abbia appreso tutti i pattern su cui deve attingere ed evitare l'overfitting, è necessario un volume di dati sufficiente. 

Valuta le fonti di dati rilevanti a tua disposizione, dai set di dati open source disponibili tramite piattaforme come Hugging Face o Kaggle al web scraping fino all'utilizzo dei dati proprietari della tua organizzazione. Quando i dati di alta qualità sono proibiti o costosi, i dati sintetici possono talvolta colmare le lacune. possono talvolta colmare le lacune.

I dati non elaborati raramente sono pronti per il machine learning: di solito richiedono un certo grado di pre-elaborazione prima del loro utilizzo nelle pipeline di addestramento dei modelli. La progettazione di funzioni è una parte importante di questo processo.

L'apprendimento supervisionato richiede l'etichettatura dei dati, che spesso richiede almeno un certo grado di intervento manuale dispendioso in termini di tempo (anche se l'automazione può spesso semplificare il processo). L'etichettatura in alcuni domini dati specializzati richiederà l'input di un esperto. Anche i set di dati contenenti dati pre-etichettati dovrebbero essere esaminati per garantire l'accuratezza delle etichette e la loro pertinenza rispetto al caso d'uso specifico.

I dati estratti da diverse fonti di dati devono essere normalizzati e resi uniformi in termini di unità e formato: ad esempio, addestrare un modello su dati meteorologici presentati sia in gradi Celsius che Fahrenheit porterà inevitabilmente al fallimento. 

I dati non devono essere semplicemente scartati dopo l'addestramento del modello. Dovrebbero essere memorizzati e archiviati nel caso in cui tu debba verificare il sistema, indagare problemi di prestazioni, replicare i tuoi modelli o rispettare i requisiti normativi del GDPR o framework simili.

La governance dei dati è un componente essenziale della spiegabilità dell'AI, della privacy dei dati e della conformità normativa, in particolare nei settori e nei casi d'uso che coinvolgono dati contenenti informazioni sensibili. È anche una componente necessaria per stabilire pipeline di dati per semplificare il data sourcing scalabile, soprattutto quando il workflow AI utilizza dati proprietari continuamente aggiornati.

Successivamente c'è la selezione del modello: scegliere l'architettura del modello che meglio si adatta al tuo caso d'uso, ai dati di addestramento e alle risorse computazionali. Esiste una vasta gamma di algoritmi di machine learning, che vanno da piccoli e semplici modelli di regressione a grandi reti neurali all'avanguardia. Il modello più grande e sofisticato non è sempre la scelta più saggia: ci sono attività per cui i modelli di deep learning di grandi dimensioni sono eccessivi e persino attività in cui i modelli di machine learning convenzionali superano le loro controparti di deep learning.

Quando si parla di AI generativa, addestrare LLM e altri tipi di modelli generativi da zero richiede un investimento enorme in termini di tempo, dati, hardware ed energia. Nella maggior parte dei casi, la necessità di un modello generativo personalizzato viene soddisfatta meglio perfezionando un modello preaddestrato. Ma anche nel mondo dei modelli già pronti, c'è un ampio spettro in termini di dimensioni, architettura e funzionalità.

Le valutazioni di benchmark sono una guida utile per determinare quali modelli sono bravi in cosa, ma non dovrebbero essere prese come un vangelo. Se il tuo problema è ben definito, vale la pena esplorare la fattibilità di sviluppare benchmark personalizzati che riflettano direttamente le prestazioni sui compiti specifici per cui avrai bisogno che un modello svolga. Questo sarà utile anche per la fase di valutazione del modello successiva.

A parte l'AI generativa, la maggior parte delle soluzioni di AI comporta l'addestramento del proprio modello. Il nostro articolo informativo sull'addestramento del modello fornisce maggiori informazioni sul suo processo di sviluppo, dai diversi tipi di machine learning alla scelta di una funzione di perdita (o, nell'apprendimento per rinforzo, una funzione di ricompensa) fino all'ottimizzazione dei parametri del modello (e degli iperparametri). Di solito è necessario un certo grado di sperimentazione prima di arrivare all'architettura e allo schema di apprendimento ideale.

In definitiva, l'obiettivo dell'addestramento del modello è adattarne i parametri finché le prestazioni sugli esempi nel suo set di dati di addestramento raggiungono una soglia di accuratezza accettabile.

L'addestramento del modello è un processo iterativo e non sempre procede in modo costante e lineare. È importante salvare periodicamente i "punti di controllo" dei pesi del modello durante tutto il processo di addestramento. In assenza di un sistema di controllo delle versioni, un singolo aggiornamento del modello potrebbe essere disastroso e costringerti a ricominciare da capo. Il controllo delle versioni è anche una pratica necessaria per il debug, la riproducibilità e la collaborazione tra i team.

Ottimizzare le prestazioni di un modello sui dati di addestramento non è, di per sé, l'obiettivo fondamentale dell'addestramento del modello. Il vero obiettivo è sviluppare un modello che si generalizzi bene a nuovi dati non ancora visti. Bisogna fare attenzione a evitare l'overfitting, che può essere inteso come l'equivalente nel machine learning di "apprendimento per il test", più vicino alla memorizzazione meccanica che alla "conoscenza" effettiva. 

La valutazione post-addestramento è essenziale per confermare che il modello si generalizzi bene a dati non visti. Questo processo di convalida verifica la qualità dell'output del modello su un set di dati separato di nuovi input che assomigliano ad attività del mondo reale. La validazione può utilizzare una varietà molto più ampia di metriche di prestazioni rispetto a quelle adatte alle funzioni di perdita che misurano l'accuratezza del modello durante l'addestramento.

La valutazione e l'addestramento del modello costituiscono tipicamente due parti di un unico ciclo iterativo: 

• Innanzitutto, i modelli vengono addestrati finché la perdita o la ricompensa non raggiunge una soglia accettabile.

• Successivamente, le prestazioni del modello vengono validate su un nuovo insieme di compiti, spesso utilizzando diverse metriche di prestazioni.

• Se i risultati della valutazione del modello non sono soddisfacenti, il modello viene sottoposto a ulteriore addestramento, di solito, con modifiche strategiche volte a risolvere eventuali carenze individuate nella fase di validazione.

Una volta che un modello è stato addestrato e validato con successo, passa alla fase di distribuzione, durante la quale si rende il modello operativo in un vero ambiente di produzione e si integra con sistemi e API esistenti. Idealmente, la fase di valutazione del modello ha convalidato le prestazioni del modello su attività che utilizzano, o almeno approssimano, questi workflow del mondo reale.

Ci sono molte configurazioni da considerare nel deployment del modello, ma forse la decisione più importante è il tipo di ambiente di distribuzione in cui opererà.

• Distribuzione on-premise: il modello viene eseguito su hardware fisico (di solito acceleratori AI) che tu, o la tua organizzazione, possedete e gestite. Questa soluzione offre il massimo controllo, ma richiede anche un investimento iniziale maggiore.

• Implementazione cloud: il modello viene eseguito su hardware di proprietà e gestito da provider di cloud di terze parti, fisicamente situati in un altro data center di grandi dimensioni. La distribuzione cloud è generalmente la via più rapida verso la scalabilità. 

• Distribuzione edge: il modello viene distribuito su una rete locale distribuita di dispositivi edge, come sensori o dispositivi Internet of Things (IoT).

• Distribuzione su dispositivo: il modello viene eseguito direttamente sul dispositivo dell'utente finale, come un computer portatile o uno smartphone. 

Un modello implementato raramente dovrebbe essere considerato un prodotto inerte e "finito". Un'adeguata governance dell'AI comporta il monitoraggio continuo delle metriche di performance dei modelli e del feedback degli utenti.

In un'applicazione reale è quasi inevitabile che si verifichino problemi imprevisti e casi edge, a prescindere da quanto accuratamente si pianifichi, si testi e si faccia red team in anticipo. Inoltre, anche un modello addestrato in modo ottimale potrebbe, nel tempo, subire un peggioramento delle prestazioni a causa di problemi come la deriva del modello.

I modelli distribuiti richiedono quindi tipicamente un riaddestramento periodico per mantenere prestazioni adeguate e adattarsi alle circostanze mutevoli. Ancora una volta, schemi di versioning attenti sono importanti per il debug, la responsabilità e per aggiornare in sicurezza i sistemi critici.