Quali sono le metriche chiave per misurare la governance dell'AI?

Recentemente, mi è stata posta questa domanda: come posso misurare il successo nel mio impegno in materia di etica e governance dell'AI ? Misuro il successo in base al fatto che i principi etici dell'AI siano incorporati nella strategia, nei workflow e nel processo decisionale, non solo scritti. Se i team hanno la possibilità di mettere in discussione le domande, le comunità interessate sono incluse e i modelli sono costruiti con responsabilità in ogni fase, sei sulla strada giusta.

Anzitutto, il fallimento più profondo è non considerare il comportamento umano e l'esperienza di una persona che interagisce con AI, la cui "intelligenza" dovrebbe essere "aumentata". Penso che sia importante sapere come si misura il comportamento delle persone. Uno dei principi fondamentali della psicologia umana è che si ottengono molti più risultati dai comportamenti umani che si misurano.

Quali comportamenti umani stiamo misurando in relazione all'uso di AI? Quali comportamenti umani vogliono vedere di più i nostri clienti nell'uso dell'AI?

Per iniziare, ecco la storia di uno dei miei clienti preferiti di tutti i tempi: un grande dipartimento di polizia. Questo cliente si distingueva dalla cultura di tutti gli altri incontrati in precedenza. Quando abbiamo iniziato il nostro rapporto con i membri del consiglio direttivo dell'AI del dipartimento di polizia, molti di loro non sapevano perché fossero lì.  

Il motivo era che tutti quanti avevano una vasta competenza nel campo delle attività di polizia. Dicevano di non essere esperti in materia di AI o apprendimento automatico (ML). Chiedevano: "Perché avete bisogno di me in questo consiglio direttivo?".

Per questo motivo, il nostro impegno è iniziato spiegando perché erano lì e perché era importante poter contare sulla loro saggezza e competenza nell'argomento in questione. Ma non ci siamo fermati qui, abbiamo dovuto dimostrare perché erano necessari. Era importante che comprendessero che il loro contributo a queste soluzioni di AI era fondamentale per il suo corretto funzionamento. Affinché l'implementazione dell'AI abbia successo, è essenziale mettere le persone al primo posto.

Il modo in cui siamo entrati in contatto con loro è stato dimostrando loro attivamente che la parte difficile nel realizzare correttamente l'AI non era affatto strettamente tecnica. È fondamentale poter contare su esperti del settore, dei veri esperti nel campo delle forze dell'ordine. Queste persone comprendono i dati, il contesto in cui sono stati raccolti e le relazioni tra i punti dati, assicurando che l'AI corretta sia costruita, gestita e governata in modo responsabile. 

Alcune delle tattiche che abbiamo usato erano esercizi di design thinking ideati dal gruppo di design thinking AI di IBM. Questi esercizi di design thinking affrontano domande come ad esempio:

• Abbiamo le persone giuste in sala?

• Qual è il problema fondamentale che stiamo cercando di risolvere?

• Abbiamo i dati giusti e comprensione dei dati corretta secondo gli esperti del settore per dare vita a questa iniziativa AI?

• Quali principi di AI tattica devono riflettersi nei nostri sistemi di AI per guadagnare la fiducia del pubblico? E come definiamo i requisiti funzionali e non funzionali necessari per dare vita a questi principi?

• Quali sono gli effetti indesiderati di questi modelli di AI? 

• Come affronteresti la mitigazione del rischio in modo intenzionale? 

• Chi sono tutte le persone per cui dobbiamo costruire?

• Cosa dobbiamo comunicare sull'uso previsto e non intenzionale di questa AI?

Questo lavoro introspettivo deve essere svolto in un ambiente che assegni priorità all'umiltà e all'inclusività, alla sicurezza psicologica e includa persone con diverse di vita diverse. Il risultato di questo lavoro è che i team hanno finalmente la lingua di cui hanno bisogno da tempo. Consente loro di comunicare in modo chiaro agli sviluppatori o agli acquirenti cosa deve essere sviluppato o acquisito per rendere accurate le soluzioni di AI.

Ancora una volta, si ottengono i comportamenti umani che si misurano. Quindi, la domanda è: quali sono i comportamenti umani che abbiamo bisogno di misurare per determinare il successo di un progetto di governance?

Una domanda comune da porsi è:

• Quali comportamenti umani vengono misurati? Quali sono i comportamenti umani che vengono enfatizzati negli sforzi di comunicazione e sono gli stessi comportamenti legati alla governance che vengono misurati?

Spesso, i dipendenti sono incoraggiati a utilizzare AI sul posto di lavoro (a rischio di essere licenziati) e talvolta in parallelo viene detto loro che sono tenuti a raggiungere risultati responsabili. Spesso però vengono valutati rigorosamente in base alla velocità con cui riescono a svolgere il loro lavoro e alla loro produttività, senza essere valutati affatto in base ai risultati in sé.

Ci sono stati diversi casi documentati in cui l'esperto di dominio sapeva che la AI era sbagliata e gli è stato espressamente detto di usare il suo miglior giudizio. Eppure, invece di contraddire l'AI, non ha fatto nulla, perché, ancora una volta, le sue prestazioni sono state valutate secondo metriche completamente diverse. Alcune persone vengono infatti punite per aver contraddetto un'AI al lavoro. 

Quando torniamo alla domanda "Quali comportamenti stiamo misurando?", esplora come possiamo misurare se AI migliora l'intelligenza di una persona. Dovremmo anche considerare se quella persona si impegna attivamente come consumatore critico di AI. Questi individui dovrebbero essere incentivati in modo misurabile per addestrare l'AI, o almeno ad avvisare gli altri, al fine di ottenere risultati più responsabili.

Per essere in grado di farlo, dobbiamo misurare se i dipendenti che utilizzano l'AI ne comprendono veramente il rischio, se comprendono veramente la vera natura dei dati, dei pregiudizi, dell'impatto eterogeneo. Sanno cosa significa essere responsabili? Sono misurati in modo tale da incoraggiare tale responsabilità?

Questi comportamenti di leadership sono solo alcuni esempi delle caratteristiche che sappiamo di dover ricercare quando pensiamo di creare la giusta cultura organizzativa.

Un componente fondamentale per capire se hai avuto successo in un progetto di governance dell'AI è se hai conquistato la fiducia delle persone. È importante ricordare che non è affatto semplice sviluppare un'AI in grado di ispirare fiducia. I leader che ammiro sono capaci di mostrare il loro operato.

Cosa mi piacerebbe comunicare con questo articolo? Che appartieni a questa conversazione anche se potresti pensare il contrario. Non hai bisogno di una laurea in data science o di un dottorato in AI, promesso. Il fatto che tu porti un'esperienza di vita diversa significa che appartieni a questa conversazione sull'AI.

Non è solo perché AI è diventata popolare ed è probabile che si presenti sul tuo posto di lavoro che questa conversazione è importante. Vorrai sapere che i modelli AI vengono utilizzati, anche dai tuoi figli, sono al sicuro dai malintenzionati e fondati sulla verità. Dovrebbero essere equi, evitare di vomitare improvvisamente discorsi di odio tossici o di uscire dai binari e proteggere i dati personali con forti misure di salvaguardia della privacy.

Siamo onesti: la transizione all'AI è difficile. Essere leader nell'era dell'AI significa sentirsi a proprio agio con l'ambiguità. Significa scegliere di fare la cosa giusta, non solo scegliere la strada facile o redditizia a breve termine. Richiede lo sviluppo di una comprensione più profonda delle tecnologie di AI: come funzionano, cosa possono ottenere, i rischi che comportano. Ed è necessario trasmettere tale conoscenza e comprensione a tutta la forza lavoro. Significa investire in alfabetizzazione AI, governance dell'AI e in un leader capace di governance dell'AI.

I leader che si fanno avanti ora, che pongono domande coraggiose, forniscono le risorse per i sistemi giusti e mettono al centro i valori umani, non solo evitano le insidie, ma plasmano attivamente un futuro di AI responsabile. Si guadagnano la fiducia che si trasforma in un vantaggio competitivo duraturo. Questo momento di leadership è tuo. Fai in modo che conti. Fai in modo che conti.