I 5 migliori consigli per misurare la produttività della gen AI in un'azienda

11 novembre 2024

 

 

Autori

Jyothi Pai

Program Manager, IBM Consulting Advantage and Asset Engineering, IBM

Pradeep K Nanjundaswamy

Director, IBM Consulting Advantage & Asset Engineering, IBM

Molly Hayes

Content Writer, IBM Consulting, IBM Blog

L'AI generativa (gen AI) si è diffusa in modo massiccio nel mondo aziendale in tempi relativamente brevi. Questa tecnologia ha il potenziale per migliorare significativamente l'efficienza e l'innovazione, dall'automazione dei workflow di routine alla generazione di insight da grandi set di dati. 

Ad oggi, gli assistenti AI stanno aumentando la produttività potenziando le capacità delle persone. La prossima evoluzione nell'ambito del lavoro e della consulenza sarà l'agentic AI, dove un essere umano supervisiona un team di agenti AI autonomi che svolgono attività e comunicano tra loro. Secondo Jill Goldstein, Global Managing Partner for HR and Talent Transformation di IBM Consulting, "le aziende dovranno rivalutare i propri processi di lavoro attuali e creare nuovi tipi di team in cui gli esseri umani supervisionano gruppi di agenti AI autonomi".

Per sfruttare appieno il potenziale dell'AI, dobbiamo creare dei framework di misurazione della produttività che misurino non solo l'output delle singole persone, ma anche il grado di coordinamento degli agenti AI che lavorano al fianco degli esseri umani. Tuttavia, quantificare l'impatto reale sulla produttività può essere un processo complesso, soprattutto se si considera la stretta collaborazione tra esseri umani e macchine nello svolgimento delle attività sul posto di lavoro. In altre parole, la questione oggi non è se l'AI verrà implementata per aumentare la produttività, ma come misurare e utilizzare al meglio gli strumenti a disposizione di un'azienda.

Noi di IBM Consulting abbiamo affrontato questa questione creando un laboratorio interno di misurazione della produttività che crea framework e metodi per misurare la produttività man mano che i nostri consulenti adottano l'AI. Crediamo che questi framework siano critici non solo per un'adozione di successo, ma anche per fornire misurazioni utili e tangibili di questo successo. Sono stati inoltre indispensabili per fornire dati fruibili per informare lo sviluppo continuo della nostra piattaforma di distribuzione basata su AI, IBM Consulting Advantage, che potenzia i servizi offerti ai clienti da parte dei nostri consulenti con agenti AI, applicazioni e altro ancora.

Progettazione 3D di palline che rotolano su una pista

Le ultime notizie e insight sull'AI 


Notizie e insight a cura di esperti di AI, cloud e molto altro nella newsletter settimanale Think. 

5 consigli per misurare la produttività delle persone che utilizzano l'AI

Grazie a questo processo, abbiamo identificato 5 lezioni chiave su come misurare al meglio la produttività di chi usa l'AI in ambito aziendale:

  1. Pensa al contesto
  2. Misura le metriche chiave rispetto a un gruppo di controllo
  3. Coinvolgi utenti con livelli di competenza diversi
  4. Misura quanto velocemente le persone si adattano al sistema
  5. Considera l'intero ciclo di vita del progetto

Pensa al contesto

Quando si valuta l'impatto dell'AI generativa, è fondamentale considerare il contesto specifico in cui viene applicata. Gli strumenti di AI hanno prestazioni diverse a seconda dei settori, dei reparti e delle attività, il che significa che una valutazione uguale per tutti non produrrà insight accurati.

Goldstein è dello stesso parere: "Per cogliere il valore dell'AI generativa, i leader devono prima immaginarla nel contesto della loro forza lavoro. Ciò significa avere la tecnologia giusta al posto giusto e dotare la forza lavoro delle competenze tecniche che consentano loro di utilizzare gli strumenti in modo efficace".

Ad esempio, l'impatto dell'AI su un team di ingegneri è diverso dal suo effetto su un addetto al servizio clienti. Uno sviluppatore che utilizza un assistente di codifica potrebbe osservare una distribuzione del codice più rapida e con meno errori, mentre un addetto all'esperienza del cliente potrebbe aspettarsi tempi di risposta più rapidi.

Un processo di misurazione della produttività di successo identifica il problema specifico che l'AI è chiamata a risolvere, consentendo ai ricercatori di valutare con precisione il suo effettivo impatto.

Misura le metriche chiave rispetto a un gruppo di controllo

Per comprendere veramente l'impatto dell'AI generativa e il modo in cui le persone utilizzano un assistente o uno strumento, è necessario misurare le prestazioni rispetto a un gruppo di controllo che non utilizza l'AI. Questo metodo consente ai ricercatori di vedere se i miglioramenti sono direttamente correlati al sistema AI.

Nella nostra ricerca di laboratorio sulla misurazione della produttività, identifichiamo due gruppi di utenti il più simili possibile e chiediamo loro di realizzare un progetto identico che imiti uno scenario reale: un gruppo lo segue in modo tradizionale e un altro con il potenziamento dell'AI. In questo modo siamo in grado di quantificare metriche chiave come velocità, qualità, costo e precisione per questi gruppi. 

Coinvolgi utenti con livelli di competenza diversi

L'impatto dell'AI generativa sulla produttività può variare in modo significativo a seconda del livello di competenza del dipendente che utilizza il sistema. Detto questo, è importante valutare le prestazioni dell'AI rispetto a diversi gradi di competenza degli utenti. I livelli di abilità e competenza non vanno visti solo in termini di anzianità o di anni di esperienza, quanto piuttosto di competenze pertinenti o mirate necessarie per eseguire un particolare compito.

In un recente studio volto a valutare un assistente di codifica, abbiamo creato due team che eseguivano lo stesso compito potenziato con l'AI: un team con un livello di competenza più elevato e uno meno esperto. Abbiamo riscontrato una variazione significativa nel livello di produttività di ciascun gruppo rispetto al gruppo di controllo, un risultato che indica che l'interazione uomo-macchina e la capacità di comunicare con il sistema in modo efficace hanno avuto un forte impatto sul ritorno sull'investimento nello strumento. 

Misura quanto velocemente le persone si adattano al sistema

Il successo dell'AI generativa in un contesto aziendale dipende spesso dalla velocità e dall'efficacia con cui la forza lavoro riesce ad adattarsi ad essa. L'AI generativa è progettata per potenziare le capacità umane, il che può richiedere una curva di apprendimento e un periodo di adattamento. Misurare l'adozione e l'integrazione umana con i sistemi AI è fondamentale per valutare l'impatto complessivo del sistema.

Nella nostra ricerca, abbiamo scoperto che alcuni gruppi si adattano meno rapidamente agli assistenti AI, richiedendo un maggiore onboarding e una sperimentazione più lunga prima di poter utilizzare lo strumento in modo produttivo. Abbiamo anche scoperto che l'integrazione di un assistente con gli strumenti esistenti specifici per il team è stato un fattore importante nell'impatto sulla produttività.

Per misurare efficacemente questa variabile, il nostro consiglio è di monitorare e osservare continuamente i soggetti di ricerca per individuare la velocità con cui sono in grado di adattarsi.

Considera l'intero ciclo di vita del progetto

L'impatto dell'AI generativa sulla produttività interessa anche il modo in cui il suo output deve essere mantenuto. Misurare quanto sia facile o difficile aggiornare o gestire l'output generato dall'AI è un aspetto chiave del suo effetto complessivo.

Ad esempio, in uno studio sulla produttività di un assistente di codifica, abbiamo notato che alcuni team generavano meno righe di codice ottenendo gli stessi risultati, con una conseguente riduzione della manutenzione.

In altre applicazioni AI, questa misurazione potrebbe comportare il calcolo dell'impegno umano necessario per supervisionare o controllare i contenuti generati dall'AI. Se l'AI esegue un lavoro che richiede una grande quantità di revisioni o aggiornamenti, la produttività netta potrebbe essere inferiore a quella prevista. 

Quantificare la relazione uomo-macchina

Con l'arrivo del 2025, ricerche come questa diventano ancora più essenziali perché le aziende cercano di misurare l'impatto dei loro investimenti nell'AI generativa. Goldstein sottolinea questo concetto, affermando che "le organizzazioni devono sviluppare framework di misurazione della produttività per ottenere insight su come l'AI stia potenziando le capacità della forza lavoro e affrontando le sfide. Con questi dati sulla forza lavoro a portata di mano, i leader possono individuare i casi d'uso ad alto impatto, dare priorità agli sforzi di AI e massimizzare il ROI".

I nostri primi risultati suggeriscono che il valore dell'AI di un'azienda è profondamente legato a quanto le persone possono usarla: se hanno le conoscenze per interrogarla in modo efficace o in che misura l'assistente si integra con i workflow che sono abituate a usare ogni giorno.

Nel laboratorio di misurazione della produttività di IBM Consulting utilizziamo questi insight per modificare e migliorare continuamente i nostri strumenti, con l'obiettivo di creare relazioni uomo-macchina più efficienti e di sfruttare appieno la potenza dell'AI.

Soluzioni correlate
Servizi di consulenza aziendale

Reinventa la modalità di lavoro grazie al collegamento tra trasformazione aziendale e tecnologica per sbloccare l'agilità aziendale.

    Esplora i servizi di consulenza aziendale
    Servizi di consulenza per la trasformazione delle risorse umane e dei talenti

    Reinventa e modernizza le risorse umane con l'AI al centro per ottenere risultati aziendali migliori e sbloccare il potenziale dei dipendenti.

    Esplora i servizi di trasformazione delle risorse umane
    Servizi di consulenza finanziaria

    Migliora le prestazioni finanziarie e sblocca il valore aziendale con servizi end-to-end che integrano analisi dei dati, AI e automazione in tutti i processi fondamentali.

      Esplora le soluzioni finanziarie
      Fasi successive

      Grazie a IBM Consulting Advantage, i consulenti IBM sono pronti ad accompagnarti dall'idea al prodotto finito in modo più rapido ed efficiente di quanto tu abbia mai sperimentato con qualsiasi altro approccio di consulenza. Esplora la nostra piattaforma di distribuzione basata su AI e accelera la creazione di valore su larga scala. 

      Esplora IBM Consulting Advantage