Un sistema di supporto a più livelli all'interno di un'organizzazione può utilizzare un assistente conversazionale basato sul modelli linguistici di grandi dimensioni, o chatbot, insieme ad agenti umani, offrendo un'assistenza efficiente e completa agli utenti finali.
Modelli di architettura AI generativa
- Retrieval Augmented Generation
- Conversation with Agent Assist
- Ricerca generativa
- Ragionamento, conoscenza e linguaggio modulari
- Sintesi di documenti
- Modernizzazione e generazione di codice
- Generazione di codice per Ansible
- Generazione di codice per Z
- Sviluppo software aumentato con l'AI attraverso agenti
L'architettura di Conversation with Agent Assist è illustrata nel diagramma precedente. Le fasi principali del flusso dell'architettura sono:
Documenti Enterprise come manuali dei prodotti, documenti con domande frequenti, materiali di offerta, prospetti, ticket di assistenza risolti e altro vengono inseriti in un'istanza di IBM watsonx Discovery e preparati per la ricerca semantica.
Gli utenti inviano richieste, problemi o domande tramite un'interfaccia sul sito web dell'organizzazione, un'app dedicata o altre piattaforme. Questa interazione è facilitata da IBM watsonx Assistant, che funge da interfaccia principale per le interazioni basate sulla chat.
Per le richieste che richiedono il recupero di dati dai documenti o dalla knowledge base dell'organizzazione, a IBM watsonx Discovery viene chiesto di cercare e recuperare i passaggi di informazioni più pertinenti per la richiesta dell'utente.
watsonx Assistant invia quindi la richiesta dell'utente e le informazioni pertinenti recuperate da watsonx Discovery a un modello linguistico di grandi dimensioni (LLM) in hosting su watsonx.ai.
L'LLM sintetizza la richiesta dell'utente e le informazioni fornite insieme alle conoscenze integrate dell'LLM e genera una risposta simile a quella umana che viene restituita a watsonx.ai che, potenzialmente dopo la formattazione e altre elaborazioni, viene presentata all'utente.
Se l'utente non è soddisfatto della risposta generata (ad esempio, la sua richiesta contiene delle sottigliezze, oppure è complessa o richiede conoscenze specifiche), può fare in modo che watsonx Assistant inoltri la chiamata a un agente umano. Allo stesso modo, le interazioni possono essere automaticamente intensificate se la risposta dell'LLM viene rilevata come poco probabile o potenzialmente offensiva. Gli utenti possono scegliere di interagire con un rappresentante umano in qualsiasi momento. watsonx Assistant trasferisce senza problemi l'interazione a un agente umano tramite il sistema di gestione del contact center dell'azienda.
Un agente umano, con accesso completo alla cronologia chat di Watsonx Assistant, aiuta l'utente a trovare una risposta alla richiesta, al problema o alla domanda.
Dopo la risoluzione, il sistema, attraverso watsonx Assistant, può sollecitare il feedback degli utenti. Questo feedback aiuta a perfezionare le interazioni future analizzando le query perse o inoltrate di frequente e consentendo all'organizzazione di adattare l'LLM ospitato su watsonx.ai e/o di modificare i parametri di ricerca di watsonx Discovery per migliorare le prestazioni.
La mappatura del portafoglio di prodotti di AI di IBM watsonx verso l'architettura concettuale è mostrata nel diagramma seguente. watsonx Assistant fornisce le funzionalità del componente di assistente virtuale, mentre watsonx Discovery, un componente aggiuntivo di watsonx Assistant, fornisce funzionalità di acquisizione dei documenti e ricerca semantica. L'ambiente di sviluppo e hosting del modello watsonx.ai viene utilizzato per selezionare, adattare, testare e implementare il modello linguistico di grandi dimensioni.
Alcuni client non dispongono di watsonx.ai nella propria area geografica o potrebbero avere problemi di sicurezza o requisiti normativi che impediscono loro di utilizzare lo studio AI di livello aziendale di watsonx.ai. A questi clienti offriamo watsonx.ai sotto forma di insieme di servizi basati su container che possono essere implementati su Red Hat Openshift, in esecuzione all'interno dei data center dei clienti e all'interno di un cloud privato virtuale (VPC) sull'infrastruttura di un provider di servizi cloud o in un'altra sede.
Decisioni e considerazioni sull'architettura
Scelta del modello di generazione
Molti fattori influiscono sulla scelta dei modelli che funzioneranno bene per il tuo progetto.
La licenza del modello può limitare il modo in cui questo può essere utilizzato. Ad esempio, la licenza di un modello può impedirne l'utilizzo quale parte di un'applicazione commerciale.
Il set di dati utilizzato per l'addestramento del modello ha un impatto diretto sul funzionamento del modello per un'applicazione specifica e influisce in modo significativo sul rischio che il modello generi risposte prive di senso, offensive o semplicemente indesiderate. Allo stesso modo, i modelli addestrati su dati protetti da copyright o privati possono esporre gli utenti a problemi legali. IBM offre la completa trasparenza dei dati di addestramento, così come l'indennizzo dai contenziosi legali derivanti dai suoi modelli.
Le dimensioni del modello, il numero di parametri con cui viene eseguito l'addestramento e le dimensioni della finestra di contesto (la durata di un passaggio di testo che il modello può accettare) influiscono sulle prestazioni del modello, sui requisiti delle risorse e sulla velocità effettiva. Anche se si è tentati di seguire la filosofia "più grande è meglio" e scegliere un modello da 20 miliardi di parametri, i requisiti di risorse e il miglioramento (se presente) dell'accuratezza potrebbero non giustificarlo. Studi recenti hanno dimostrato che i modelli più piccoli possono superare significativamente quelli più grandi in alcune soluzioni.
Qualsiasi messa a punto applicata a un modello può influire sulla sua idoneità per un'attività. Ad esempio, IBM offre due versioni del modello Granite: una ottimizzata per applicazioni di chat generiche e un'altra ottimizzata per seguire le istruzioni.
Altre considerazioni nella scelta di un modello includono:
Selezione dei parametri del modello, ad es. la temperatura del modello, per bilanciare la creazione di testo simile a quello umano e le risposte fattuali. L'impostazione della temperatura del modello su un valore alto genererà risposte coerenti ma potenzialmente poco interessanti o eccessivamente concise, mentre l'impostazione della temperatura su un valore basso introdurrà una maggiore varietà nelle risposte ma aggiungerà imprevedibilità nella lunghezza e nel contenuto della risposta.
Selezione e implementazione di modelli di protezione dai risultati inefficaci o offensivi.
Anche la lingua dei dati del cliente e dei prompt deve essere presa in considerazione. La maggior parte degli LLM è addestrata su testi in lingua inglese e spesso è in grado di tradurre dall'inglese ad altre lingue con diversi livelli di competenza. Le applicazioni che richiedono supporto linguistico multilingue o localizzato possono richiedere l'uso di più modelli addestrati in ciascuna delle lingue supportate o l'implementazione di una fase di traduzione per tradurre input multilingue in inglese o in un'altra lingua "di base".