Come Dynamiq ha costruito un workflow di ricerca legale e consapevole dei costi con IBM watsonx
IBM watsonx Orchestrate ha trasformato un workflow multi-agente indipendente in una funzionalità a livello aziendale, contribuendo a ridurre della metà i tempi di revisione dei contratti legali.
I team legali devono fornire risposte rapide e difendibili su contratti, policy e problemi di conformità. Tuttavia, il volume dei documenti continua a crescere, mentre le aziende si aspettano sempre più tempi di risposta pressoché immediati. Questo era il problema principale per un cliente assicurativo europeo che lavorava con Dynamiq, un partner IBM.
Per affrontare la sfida, il partner IBM Dynamiq ha utilizzato IBM watsonx per fornire una soluzione tecnica a un problema legato a numerose informazioni non strutturate, molteplici passaggi e un notevole lavoro manuale di revisione. Dynamiq ha implementato un sistema per supportare la sintesi di contratti multi-documento, le domande e risposte sulle policy, l’analisi della concorrenza e i controlli di conformità tra diverse giurisdizioni.
L’architettura risultante ha combinato orchestrazione, classificazione delle query a basso costo e ricerca approfondita, riducendo il tempo di revisione dei contratti da 90 a 45 minuti e abbattendo il tempo di risposta alle richieste aziendali da due giorni a un’ora. Inoltre, ha accelerato l’identificazione delle clausole (il processo di individuare ed estrarre disposizioni, obblighi o condizioni specifiche nascoste all’interno di contratti molto lunghi) da 20 minuti a due minuti.
Nelle operazioni legali, la velocità è importante. È importante perché una singola clausola trascurata può modificare responsabilità, termini di pagamento o obblighi di conformità, e gli avvocati spesso devono confrontare decine di clausole tra più contratti con scadenze strette.
Il cliente necessitava di un workflow per coprire le attività legali che normalmente si svolgono su strumenti separati e richiedono revisioni manuali. Doveva riassumere più contratti, rispondere a domande sulle policy in base agli accordi interni, confrontare il linguaggio contrattuale interno con fonti esterne ed eseguire controlli di conformità tra più giurisdizioni. L'obiettivo finale era semplice: aiutare i team legali a prendere decisioni più rapide e informate per l'azienda, senza aumentare i costi.
A rendere la sfida ancora più difficile era un rigoroso insieme di requisiti funzionali. Il sistema doveva rimanere rigorosamente ottimizzato in termini di costi. Doveva indirizzare il lavoro attraverso un flusso agentico ma parzialmente deterministico, richiedendo all’agente di classificazione di categorizzare tutte le query (vedi diagramma) e mantenendo la piena tracciabilità di ogni fase del ragionamento e degli strumenti utilizzati. Doveva inoltre integrarsi con l'infrastruttura di ricerca e documentazione esistente e completare l'esecuzione delle query in meno di quattro minuti.
Il sistema doveva inoltre funzionare con archivi di documenti legali proprietari, ricerche legali esterne tramite EXA e controlli di accesso conformi ai requisiti SOC 2. Affrontare questa combinazione di vincoli è ciò che trasforma una demo in una sfida di produzione.
Per gli utenti finali, il valore fornito dalla soluzione di Dynamiq è stato immediato. Gli avvocati possono passare dalla ricerca manuale delle clausole e dal confronto tra documenti a output guidati e citati. Gli stakeholder aziendali potrebbero ottenere risposte più rapidamente. Dal punto di vista del costo totale di proprietà (TCO), il cambiamento importante è che il ragionamento costoso viene riservato alle domande che lo richiedono, invece di essere applicato in modo uniforme a ogni richiesta.
Al centro del progetto c’è un sistema in tre parti: un orchestratore, un agente di classificazione delle query legali a basso costo e un agente avanzato di ricerca legale. Ogni componente ha un ruolo e un profilo di costi distinti, che permettono al workflow complessivo di rimanere pratico e scalabile.
L'orchestratore aiuta a garantire che venga scelto l'agente con il costo più basso. Il classificatore fornisce un triage rapido e conveniente, suggerendo il routing e la risposta a query semplici. L’agente di ricerca si concentra sulla ricerca legale avanzata, ma solo se raccomandato dall’agente classificatore.
1. Un orchestratore che gestisce il routing, la sintesi e la disciplina del budget
Dynamiq ha sviluppato un agente di orchestrazione che applica un percorso, prende decisioni e sintetizza pattern. Rimanda ogni richiesta al classificatore prima di rispondere direttamente, quindi decide se il percorso a costo inferiore sia sufficiente o se la richiesta debba essere scalata. Monitora inoltre il consumo di token durante l'esecuzione e applica controlli sul budget in due modi.
Innanzitutto, chiede all’agente di ricerca di confermare le ipotesi quando il classificatore rileva una richiesta di inferenza ad alto costo e a bassa affidabilità. Impone quindi un limite massimo di token per l’agente di ricerca a ogni passaggio quando i costi aumentano, restituendo un riepilogo limitato e un messaggio di controllo "continuare?" quando necessario. L'orchestratore assegna anche frasi predefinite come "i nostri termini", "i miei contratti" e "policy interne" alle query interne.
Nel determinare il miglior modello per l'orchestratore, il team ha trovato Claude 4 Sonnet e GPT-5 relativamente capaci, ma anche più lenti e con un costo di inferenza relativamente elevato. Il team ha scelto Grok-4-fast perché offriva il necessario equilibrio tra velocità, costi e qualità rispetto alle opzioni più costose.
2. Un classificatore basato su Granite che mantiene bassi i costi per i lavori semplici
L'agente di classificazione delle query legali (etichettato come "agente 1" nel diagramma) è progettato per un triage rapido e a basso costo. Utilizza IBM Granite 4 Small come primo punto di riferimento per ogni richiesta e produce output strutturati su sei campi: complessità, fonti di dati, tipo di attività, ragionamento, raccomandazione e fiducia.
Questo output determina se il sistema rimane locale, passa all'agente di ricerca o intraprende un percorso ibrido. Determina anche se sono consentite chiamate esterne. Se il classificatore contrassegna una richiesta come "INTERNAL_ONLY", l'accesso a EXA viene disabilitato.
Il routing deterministico offre ai team un modo prevedibile per separare il lavoro economico da quello più costoso prima che il workflow inizi a consumare più token.
Le domande semplici riguardano definizioni legali, quesiti di base sulle politiche e richieste di informazioni sullo stato delle pratiche. Query moderatamente complesse potrebbero richiedere all'agente di ricerca spiegazioni dei termini contrattuali, analisi di un singolo documento e controlli di conformità di base. Le query complesse richiedono l'escalation per l'analisi comparativa dei documenti, il punteggio di conformità a livello di clausola, la ricerca legale da più fonti e le attività di ragionamento legale più impegnative.
Di fatto, il classificatore diventa sia un livello di routing che un livello di controllo delle spese. Granite 4 Small offriva un rapporto prezzo-prestazioni e un'efficienza dei costi circa 3 volte migliori rispetto al modello Grok-4-fast utilizzato altrove nel sistema.
3. Un agente di ricerca che combina la RAG interna con fonti legali esterne
L'agente di ricerca legale avanzato (etichettato come "agente 2" nel diagramma precedente) gestisce il lavoro semantico più complesso e si attiva solo quando il classificatore raccomanda un percorso EXTERNAL_ONLY o HYBRID. Con il supporto di Grok, l'agente di ricerca gestisce ricerche con più strumenti e ragionamenti più impegnativi. Si collega a un sottosistema di retrieval-augmented generation (RAG) basato su Milvus per i documenti legali proprietari del cliente. Per informazioni di contesto sulla legislazione pubblica e sulla giurisprudenza, il subagente si collega a EXA.
L'agente ricercatore fornisce quattro output fondamentali:
- Ricerca semantica dei contratti per trovare clausole, obblighi e diritti paralleli o correlati
- Analisi comparativa che incrocia più documenti legali, diversi linguaggi contrattuali e impatti aziendali
- Valutazione della conformità a livello di clausola su una scala di rischio da 1 a 10, comprensiva di motivazione e consigli per la mitigazione
- Sintesi dell'output combinando i risultati di Milvus con quelli di EXA, includendo citazioni delle fonti e identificando le fonti interne rispetto a quelle esterne
Ogni risposta include un riassunto esecutivo, un'analisi dettagliata, raccomandazioni, citazioni di fonti e una valutazione del rischio che può evidenziare ambiguità, conflitti, riferimenti obsoleti e lacune di copertura. Quando il sistema rileva fatti contraddittori, evidenzia il conflitto mostrando le citazioni affiancate. Quando i recuperi iniziali su Milvus ed EXA sono deboli, l’agente ricorre a embedding più ampi o a query curate e registra un flag coverage_gap.
Per soddisfare il requisito del cliente di piena tracciabilità, il runtime utilizza una modalità di inferenza ReAct con schema XML per mantenere uniforme il ciclo di ragionamento, azione e osservazione e consentirne il debug. Questa struttura crea log dettagliati a livello granulare, ovvero registrazioni precise e con timestamp di ogni decisione di ragionamento, chiamata a strumenti e risposta del modello che avvengono durante l’esecuzione di un singolo workflow. Produce inoltre analisi post-evento più chiare per il manager, gli agenti, gli strumenti e i modelli di base.
Preserva inoltre la visibilità su come il sistema multi-agente scambia prompt e risposte con watsonx Orchestrate quando il workflow viene attivato tramite l'API. Per la verificabilità, le versioni del modello e dell'embedding vengono memorizzate insieme a ogni traccia.
Quando il sistema multi-agente è stato creato, Dynamiq l'ha importato in IBM watsonx Orchestrate come agente esterno tramite l'API utilizzando un bearer token e un URL di istanza di servizio generati dalla piattaforma Dynamiq.
Il team ha scelto watsonx Orchestrate perché trasforma un workflow multi-agente autonomo in una funzionalità a livello aziendale. Anziché limitare l'accesso a un'unica interfaccia, Orchestrate permette a ogni utente autorizzato di consultare l'agente di ricerca legale tramite chat. Inoltre, gli utenti possono coordinarlo insieme agli agenti connessi a sistemi come SAP, Salesforce e ServiceNow.
Fornisce inoltre un catalogo governato in cui l’agente appare come uno strumento di prima classe, il che significa che i team IT e di conformità mantengono visibilità. I team possono vedere cosa è in esecuzione, chi lo utilizza e come si connette al resto dello stack aziendale, senza richiedere a Dynamiq di ricostruire alcuna logica di integrazione.
La soluzione affronta tre problemi chiave relativi alla manutenzione e alla scalabilità degli agenti AI. Innanzitutto, il sistema multi-agente ottimizza i costi con IBM Granite 4 Small. Il triage legale di routine non consuma risorse di ragionamento più costose. In secondo luogo, il team legale dell'intera organizzazione può utilizzare il sistema di agenti con un'interfaccia utente a scelta, grazie a IBM watsonx Orchestrate.
Infine, l'architettura complessiva del sistema di agenti offre la flessibilità necessaria per implementare sia in cloud che on-premise, via via che si sposta alla fase di produzione.
Il caso d'uso non consiste solo nel rispondere più rapidamente alle domande legali. Si tratta di rendere queste risposte più affidabili e meno costose da utilizzare su larga scala. Il workflow preserva i confini delle citazioni tra fonti interne ed esterne, registra i passaggi di ragionamento per la verificabilità e segnala l'incertezza invece di nasconderla.
Nelle operazioni legali, questo tipo di trasparenza influisce direttamente sulla fiducia degli utenti finali. Una risposta più rapida è utile, ma una risposta più rapida con una fonte affidabile, indicatori di rischio visibili e un profilo dei costi prevedibile è molto più facile da rendere operativo.