Cos'è human-in-the-loop?

Il machine learning (ML) ha fatto passi da gigante negli ultimi anni, ma anche i modelli di deep learning più avanzati possono avere problemi di ambiguità, pregiudizi o casi limite che si discostano dai loro dati di addestramento. Il feedback umano può aiutare sia a migliorare i modelli che a fare da salvaguardia quando i sistemi AI funzionano a livelli insufficienti. HITL inserisce l'insight umano nel "loop", il ciclo continuo di interazione e feedback tra i sistemi AI e gli esseri umani.

L'obiettivo dell'HITL è quello di consentire ai sistemi di AI di raggiungere l'efficienza dell'automazione senza sacrificare la precisione, le sfumature e il ragionamento etico della supervisione umana.

Il machine learning human-in-the-loop consente agli esseri umani di fornire supervisione e input nei workflow dell'AI. Ecco i principali benefici dello human-in-the-loop:

• Precisione e affidabilità

• Processo decisionale etico e responsabilità

• Trasparenza e spiegabilità

L'obiettivo dell'automazione dei workflow è quello di ridurre al minimo il tempo e gli sforzi che gli esseri umani devono dedicare alla loro gestione. Tuttavia, i workflow automatizzati possono non funzionare correttamente in molti modi. A volte i modelli si trovano ad affrontare casi limite che il loro addestramento non li ha preparati a gestire. Un approccio HITL consente agli esseri umani di correggere input errati, dando al modello l'opportunità di migliorare nel tempo. Gli esseri umani possono identificare comportamenti anomali utilizzando le loro competenze in materia, che possono poi essere incorporate nella comprensione del modello.

Nelle applicazioni ad alto rischio, gli esseri umani possono imporre avvisi, recensioni e failsafes per aiutare a garantire che le decisioni autonome siano verificate. Possono individuare output distorti o fuorvianti, prevenendo esiti negativi a valle. Il feedback continuo aiuta i modelli AI ad adattarsi agli ambienti in evoluzione.

I bias, o pregiudizi, sono un problema costante del machine learning e, sebbene l'intelligenza umana sia talvolta piuttosto soggetta a pregiudizi, un ulteriore livello di coinvolgimento umano può aiutare a identificare e mitigare i pregiudizi incorporati nei dati e negli algoritmi stessi, il che incoraggia l'equità degli output dell'AI.

Quando un essere umano è coinvolto nell'approvazione o nella sovrascrittura degli output dell'AI, la responsabilità non ricade esclusivamente sul modello o sui suoi sviluppatori.

Alcune decisioni richiedono un ragionamento etico che può andare oltre le funzionalità di un modello. Ad esempio, i consigli di una piattaforma algoritmica per l'assunzione di personale potrebbe svantaggiare alcuni gruppi storicamente emarginati. Sebbene i modelli di machine learning (ML) abbiano fatto passi da gigante negli ultimi anni nella loro capacità di incorporare sfumature nei ragionamenti, a volte la supervisione umana rappresenta ancora l'approccio migliore. L'HITL consente agli esseri umani, che hanno una migliore comprensione delle norme, del contesto culturale e delle aree grigie etiche, di mettere in pausa o ignorare gli output in caso di dilemmi complessi.

Un approccio human-in-the-loop può fornire informazioni sul motivo per cui una decisione è stata annullata, con una traccia di audit che supporta la trasparenza e le revisioni esterne. Questa documentazione consente una difesa legale più solida, verifiche della conformità e revisioni interne delle responsabilità.

Alcune normative sull'AI impongono determinati livelli di HITL. Ad esempio, l'articolo 14 dell'EU AI Act afferma che "I sistemi di AI ad alto rischio devono essere progettati e sviluppati in modo tale che, anche con strumenti appropriati di interfaccia uomo-macchina, possano essere efficacemente supervisionati da persone fisiche durante il periodo in cui sono in uso".

Secondo il regolamento, questa supervisione dovrebbe prevenire o ridurre al minimo i rischi per la salute, la sicurezza o i diritti fondamentali, con metodi che includono il funzionamento manuale, l'intervento, il controllo prioritario e il monitoraggio in tempo reale. Le persone coinvolte devono essere "competenti" a farlo, comprendere le funzionalità e i limiti del sistema, oltre a essere addestrate al suo uso corretto e a possedere l'autorità di intervenire quando necessario. Questa supervisione ha lo scopo di incoraggiare la prevenzione dei danni e il corretto funzionamento.

Individuando gli errori prima che causino danni, l'HITL funge da rete di sicurezza, soprattutto in settori ad alto rischio o regolamentati come la sanità o la finanza. Gli approcci HITL aiutano a mitigare l'effetto "black box" laddove il ragionamento alla base degli output dell'AI non è chiaro. L'embedding della supervisione e del controllo umani nei processi di sviluppo e implementazione aiuta i professionisti a identificare e mitigare i rischi, indipendentemente dal fatto che si tratti di rischi tecnici, etici, legali o operativi.

L'HITL è un ottimo approccio per migliorare le prestazioni dei sistemi di machine learning, ma non è privo di inconvenienti.

• Scalabilità e costi

• Errore umano e mancanza di coerenza

• Privacy e sicurezza

L'annotazione umana può essere lenta e costosa, soprattutto per set di dati di grandi dimensioni o cicli di feedback iterativi. Con l'aumentare del volume dei dati o della complessità del sistema, affidarsi agli esseri umani può diventare rallentamento. L'etichettatura di milioni di immagini per un modello di computer vision con alta precisione, ad esempio, può richiedere migliaia di ore di lavoro umano. Alcuni settori, come la medicina o il diritto, potrebbero richiedere esperti in materia ancora più costosi. Un tumore etichettato erroneamente su un'immagine medica potrebbe rappresentare un errore molto grave.

Sebbene gli esseri umani possano fornire una maggiore precisione, in un certo senso possono essere più soggetti a errori e pregiudizi rispetto alle macchine. Gli esseri umani possono interpretare i dati o le attività in modo diverso, soprattutto in domini senza una risposta chiara, giusta o sbagliata. Gli umani addetti alle annotazioni, in quanto umani, possono stancarsi, distrarsi o confondersi quando etichettano i dati. Inoltre, hanno varie prospettive sui problemi soggettivi, il che può portare a incongruenze nell'etichettatura.

Coinvolgere gli esseri umani nei processi di revisione interni può sollevare problemi di privacy e anche gli annotatori ben intenzionati potrebbero involontariamente divulgare o utilizzare in modo improprio i dati sensibili a cui accedono durante il feedback.

L'introduzione di un feedback umano mirato e di alta qualità prima, durante e dopo l'addestramento crea un ciclo di feedback che accelera l'apprendimento e rende i modelli di machine learning più robusti, interpretabili e allineati alle esigenze del mondo reale. Ecco alcuni modi in cui l'interazione umana può essere integrata nei workflow di AI.

• Apprendimento supervisionato

• RLHF

• Apprendimento attivo

Le applicazioni di apprendimento supervisionato richiedono ai data scientist di etichettare correttamente i dati. Questa annotazione dei dati si traduce in set di dati utilizzati poi per addestrare un algoritmo di machine learning. Si tratta di un workflow in cui l'input umano è essenziale e fondamentale.

Ad esempio, un approccio supervisionato in un contesto di elaborazione del linguaggio naturale potrebbe comportare che gli esseri umani etichettino il testo come "spam" o "non spam" per insegnare a una macchina a eseguire con successo tali distinzioni. In un caso d'uso di computer vision, un approccio potrebbe comportare l'etichettatura umana di una serie di immagini "auto", "autobus" o "motocicletta", in modo che un modello possa eseguire attività di rilevamento degli oggetti.

In un altro esempio, l'apprendimento per rinforzo con feedback umano (RLHF) utilizza un "modello di ricompensa" addestrato con feedback umano diretto, che viene poi utilizzato per ottimizzare le prestazioni di un agente di intelligenza artificiale attraverso l'apprendimento per rinforzo. L'RLHF è particolarmente adatto per attività con obiettivi complessi, mal definiti o difficili da specificare.

Nell'apprendimento attivo, il modello identifica le previsioni incerte o a bassa confidenza e richiede l'input umano solo dove necessario. Questo concentra gli sforzi di etichettatura sugli esempi più difficili o ambigui, portando a un apprendimento più rapido e accurato.