Ricerca generativa

I fattori che influiscono sulla scelta del modello che funzionerà bene per il tuo progetto sono molti.

La licenza del modello può limitare il modo in cui questo può essere utilizzato. Ad esempio, la licenza di un modello può impedirne l'utilizzo all'interno di un'applicazione commerciale.

Il set di dati utilizzato per addestrare il modello ha un impatto diretto sul funzionamento del modello per un'applicazione specifica e influisce in modo significativo sul rischio che il modello possa generare risposte non sensate, offensive o semplicemente indesiderate. Allo stesso modo, i modelli addestrati su dati privati o protetti da copyright possono esporre gli utenti a responsabilità legali. IBM garantisce la totale trasparenza dei dati di addestramento e tutela gli utenti da eventuali azioni legali legate ai suoi modelli.

La dimensione del modello, ovvero il numero di parametri con cui viene addestrato, e la dimensione della sua finestra di contesto, ovvero la lunghezza di un passaggio di testo che il modello può accettare, influiscono sulle prestazioni del modello, sui requisiti di risorse e, per estensione, sui costi e sulla produttività. Sebbene si sia tentati di adottare una filosofia "più grande è meglio" e scegliere un modello da 20 miliardi di parametri, i requisiti di risorse e il miglioramento (se presente) della precisione potrebbero non giustificarlo. Studi recenti hanno dimostrato che i modelli più piccoli possono superare significativamente quelli più grandi per alcune soluzioni.

Qualsiasi messa a punto applicata a un modello può influire sulla sua idoneità per un'attività. Ad esempio, IBM offre due versioni del modello Granite: una ottimizzata per applicazioni di chat generiche e un'altra ottimizzata per seguire le istruzioni.

Altre considerazioni nella scelta di un modello includono:

• Selezione dei parametri del modello, ad esempio la temperatura del modello, per bilanciare la creazione di risposte testuali e fattuali simili a quelle umane. Impostando la temperatura del modello su un valore alto si genereranno risposte coerenti ma potenzialmente poco interessanti o eccessivamente concise, mentre impostando la temperatura su un valore basso si introdurrà una maggiore varietà nelle risposte ma si aggiungerà imprevedibilità nella lunghezza e nel contenuto della risposta.

• Selezione e implementazione di guardrail dei modelli per proteggersi da risultati inefficaci o offensivi.

• È inoltre necessario tenere conto della lingua dei dati del cliente e dei prompt forniti dagli utenti. La maggior parte degli LLM è addestrata su testi in lingua inglese e spesso può tradurre dall'inglese ad altre lingue con diversi livelli di competenza. Le applicazioni che necessitano di supporto linguistico multilingue o localizzato possono richiedere l'uso di più modelli addestrati in ciascuna delle lingue supportate, oppure dell’implementazione di una fase di traduzione per convertire gli input multilingue in inglese o in un’altra lingua “di base”.

Alcuni clienti potrebbero desiderare un meccanismo di feedback per perfezionare continuamente le risposte del sistema. Nel tempo, questo feedback può contribuire a migliorare sia la configurazione di Watson Discovery (ad esempio, perfezionando i parametri di ricerca) che la messa a punto del modello LLM.

I clienti che operano in settori regolamentati potrebbero voler includere un ulteriore livello di monitoraggio per rispettare le normative e fornire trasparenza agli utenti su come vengono gestite le loro richieste e sul ruolo dell'AI nel generare le risposte.

Come per qualsiasi sistema integrato, è importante monitorare continuamente le prestazioni, la soddisfazione degli utenti ed eventuali potenziali problemi. Bisogna essere pronti a scalare l’infrastruttura via via che cresce la domanda degli utenti.