All'interno di un'organizzazione, un sistema di supporto a più livelli può utilizzare un assistente conversazionale basato su un modello linguistico di grandi dimensioni, o chatbot, insieme ad agenti umani, offrendo un'assistenza completa ed efficace agli utenti finali.
- Retrieval-augmented generation
- Conversation with Agent Assist
- Ricerca generativa
- Agentic AI
- Sintesi di documenti
- Modernizzazione e generazione di codice
- Generazione di codice per Ansible
- Generazione di codice per Z
- Sviluppo software aumentato con l'AI attraverso agenti
L'architettura di Conversation with Agent Assist è illustrata nel diagramma precedente. Le fasi principali del flusso dell'architettura sono:
Documenti aziendali come manuali dei prodotti, documenti con domande frequenti, materiali di offerta, prospetti, ticket di assistenza risolti e altro ancora vengono inseriti in un'istanza di IBM watsonx Discovery e preparati per la ricerca semantica.
Gli utenti inviano richieste, problemi o domande tramite un'interfaccia sul sito web dell'organizzazione, un'app dedicata o altre piattaforme. Questa interazione è facilitata da IBM Watsonx Assistant, che funge da interfaccia principale per le interazioni basate su chat.
Per le richieste che richiedono il recupero di dati dai documenti o dalla knowledge base dell'organizzazione, a IBM watsonx Discovery viene chiesto di cercare e recuperare i passaggi di informazioni più pertinenti per la richiesta dell'utente.
watsonx Assistant invia quindi la richiesta dell'utente e le informazioni pertinenti recuperate da watsonx Discovery a un modello linguistico di grandi dimensioni (LLM) in hosting su watsonx.ai.
L' LLM sintetizza la richiesta dell'utente e le informazioni fornite insieme alle conoscenze integrate dell'LLM e genera una risposta simile a quella umana che viene restituita a watsonx.ai che, potenzialmente dopo la formattazione e altre elaborazioni, viene presentata all'utente.
Se l'utente non è soddisfatto della risposta generata (ad esempio, la sua richiesta contiene delle sottigliezze, oppure è complessa o richiede conoscenze specifiche), può fare in modo che watsonx Assistant inoltri la chiamata a un agente umano. Allo stesso modo, le interazioni possono essere automaticamente intensificate se la risposta dell'LLM viene rilevata come poco probabile o potenzialmente offensiva. Gli utenti possono scegliere di interagire con un rappresentante umano in qualsiasi momento. Watsonx Assistant trasferisce in modo fluido l'interazione a un agente umano tramite il sistema di gestione del contact center dell'azienda.
Un agente umano, con accesso completo alla cronologia chat di watsonx Assistant, aiuta l'utente a trovare una risposta alla richiesta, al problema o alla domanda.
Dopo la risoluzione, il sistema, tramite watsonx Assistant, può sollecitare il feedback degli utenti. Questo feedback aiuta a perfezionare le interazioni future analizzando le query perse o inoltrate di frequente e consentendo all'organizzazione di adattare l'LLM ospitato su watsonx.ai e/o di modificare i parametri di ricerca di watsonx Discovery per migliorare le prestazioni.
La mappatura della famiglia di prodotti IBM watsonx verso l'architettura concettuale è mostrata nel diagramma qui sotto. Watsonx Assistant fornisce le funzionalità di interazione dell'assistente virtuale, mentre watsonx Discovery, un componente aggiuntivo di watsonx Assistant, fornisce capacità di ingestione di documenti e ricerca semantica. L'ambiente di sviluppo e hosting del modello watsonx.ai viene utilizzato per selezionare, adattare, testare e implementare il grande modello linguistico.
Alcuni clienti non hanno watsonx.ai disponibile nella loro area locale o potrebbero avere problemi di sicurezza o requisiti normativi che impediscono loro di utilizzare la soluzione SaaS di watsonx.ai. Per questi clienti, offriamo watsonx.ai come set di servizi containerizzati che possono essere implementati su Red Hat Openshift in esecuzione nei data center dei clienti, all'interno di un cloud privato virtuale (VPC) sull'infrastruttura di un fornitore di cloud service o in altre sedi.
Decisioni e considerazioni sull'architettura
Scelta del modello di generazione
I fattori che influiscono sulla scelta del modello che funzionerà bene per il tuo progetto sono molti.
La licenza del modello può limitare il modo in cui questo può essere utilizzato. Ad esempio, la licenza di un modello può impedirne l'utilizzo all'interno di un'applicazione commerciale.
Il set di dati utilizzato per l'addestramento del modello ha un impatto diretto sul funzionamento del modello per un'applicazione specifica e influisce in modo significativo sul rischio che il modello generi risposte prive di senso, offensive o semplicemente indesiderate. Allo stesso modo, i modelli addestrati su dati protetti da copyright o privati possono esporre gli utenti a problemi legali. IBM offre la completa trasparenza dei dati di addestramento e tiene indenne da ogni controversia derivante dai suoi modelli.
Le dimensioni del modello, il numero di parametri con cui viene addestrato e le dimensioni della sua finestra di contesto (ossia, la lunghezza di un passaggio di testo che il modello può accettare) influiscono sulle prestazioni del modello, sui requisiti delle risorse e sulla velocità effettiva. Sebbene sia forte la tentazione di seguire la filosofia del "più grande è, meglio è" e scegliere un modello da 20 miliardi di parametri, i requisiti delle risorse e il miglioramento (se presente) dell'accuratezza potrebbero non giustificarlo. Studi recenti hanno dimostrato che i modelli più piccoli possono superare significativamente le prestazioni di quelli più grandi in alcune soluzioni.
Qualsiasi messa a punto applicata a un modello può influire sulla sua idoneità per un'attività. Ad esempio, IBM offre due versioni del modello Granite: una ottimizzata per applicazioni di chat generiche e un'altra ottimizzata per seguire le istruzioni.
Altre considerazioni nella scelta di un modello includono:
Selezione dei parametri del modello, ad esempio la temperatura del modello, per bilanciare la creazione di risposte testuali e fattuali simili a quelle umane. Impostando la temperatura del modello su un valore alto si genereranno risposte coerenti ma potenzialmente poco interessanti o eccessivamente concise, mentre impostando la temperatura su un valore basso si introdurrà una maggiore varietà nelle risposte ma si aggiungerà imprevedibilità nella lunghezza e nel contenuto della risposta.
Selezione e implementazione di guardrail dei modelli per proteggersi da risultati inefficaci o offensivi.
È necessario tenere conto anche della lingua dei dati del cliente e dei prompt degli utenti. La maggior parte degli LLM è addestrata su testi in lingua inglese e spesso può tradurre dall'inglese ad altre lingue con diversi livelli di competenza. Le applicazioni che richiedono supporto linguistico multilingue o localizzato possono richiedere l'uso di più modelli addestrati in ciascuna delle lingue supportate o l'implementazione di una fase di traduzione per tradurre input multilingue in inglese o in un'altra lingua "di base".