Cos'è il ground truth?

Il ground truth (o dati di ground truth) si riferisce ai dati verificati e veri utilizzati per addestrare, convalidare e testare i modelli di intelligenza artificiale (IA).
 

Nel campo della data science, i dati di ground truth rappresentano il massimo dell'accuratezza dei dati. Consentono ai data scientist di valutare le prestazioni del modello confrontando gli output con la "risposta corretta" (dati basati su osservazioni del mondo reale). Ciò convalida che i modelli di machine learning (ML) producono risultati accurati che rispecchiano la realtà.

I dati di ground truth sono particolarmente importanti per l'apprendimento supervisionato, una sottocategoria di ML che utilizza set di dati etichettati per addestrare gli algoritmi a classificare i dati (classificatori) o a prevedere i risultati in modo accurato.

L'etichettatura dei dati, o annotazione dei dati, è fondamentale per la raccolta dei dati di ground truth. Senza etichette o annotazioni precise, i dati non possono essere considerati un benchmark per la verità nel mondo reale.

I dati di ground truth sono la base del machine learning supervisionato, basato su set di dati etichettati di alta qualità. I modelli ML supervisionati vengono utilizzati per creare e fare progredire molte delle attuali applicazioni di AI. Ad esempio, i modelli ML supervisionati sono alla base di riconoscimento di immagini e oggetti, analisi predittiva, analisi del sentiment dei clienti e rilevamento dello spam.

I dati di ground truth forniscono le informazioni accuratamente etichettate e verificate necessarie per addestrare modelli ML supervisionati, convalidarne le prestazioni e testarne la capacità di generalizzazione (o di fare previsioni accurate sulla base di nuovi dati). Agendo come la "risposta corretta" rispetto alle previsioni dei modelli, il ground truth aiuta a garantire che i sistemi di AI apprendano i pattern giusti e funzionino in modo affidabile negli scenari reali.

Pensiamo all'immagine di un gatto. Il set di dati di addestramento per questa immagine potrebbe includere etichette per il corpo, le orecchie, gli occhi e i baffi del gatto, tutte classificazioni fino al livello di pixel. Queste annotazioni insegnano agli algoritmi di machine learning come identificare caratteristiche simili all'interno di nuovi dati di immagine.

L'accuratezza di queste etichette dei set di addestramento è d'importanza critica. Se le annotazioni sono errate o non coerenti (come etichettare le zampe di un cane anziché le zampe di un gatto), il modello non riesce ad apprendere gli schemi corretti e ciò può portare a false previsioni.

Un gatto con le zampe di un cane potrebbe sembrare innocuo. Tuttavia, la posta in gioco in presenza di false previsioni è maggiore in aree come l'assistenza sanitaria e la mitigazione dei cambiamenti climatici, dove la precisione in tempo reale è fondamentale.  

Il ground truth è essenziale per il ciclo di vita del machine learning (ML) supervisionato, comprese le fasi di addestramento, convalida e test dei modelli.

• Addestramento: durante la fase di addestramento, i dati di ground truth forniscono le risposte corrette da cui il modello può apprendere. L'accuratezza dell'etichettatura dei dati è fondamentale: se i dati di ground truth sono errati o incoerenti, il modello apprende modelli errati e fatica a fare previsioni accurate.
  
  
• Convalida: quando il modello viene addestrato, viene valutato in base a quanto bene ha appreso dai dati di ground truth. Ciò avviene tramite la convalida, in cui le previsioni del modello vengono confrontate con un diverso campione di dati di ground truth. Il modello può essere regolato e messo a punto in questa fase.
  
• Test: dopo che il modello è stato addestrato e convalidato, il test con un nuovo set di dati di ground truth aiuta a garantire che funzioni bene su dati nuovi e mai visti prima (generalizzazione). È qui che viene valutata l'efficacia del modello negli scenari del mondo reale. Metriche come accuratezza, precisione e richiamo valutano le prestazioni del modello ed evidenziano le aree di miglioramento.
  

Il ground truth funge da base per diverse attività di apprendimento supervisionato, tra cui classificazione, regressione e segmentazione. Indipendentemente dal fatto che un modello stia imparando a classificare i dati, prevedere risultati numerici o identificare oggetti nelle immagini, il ground truth fornisce il benchmark per previsioni accurate. Queste attività hanno un'ampia gamma di casi d'uso nel mondo reale in cui l'accuratezza dei dati di ground truth è fondamentale per il successo.

Nelle attività di classificazione, i dati di ground truth forniscono le etichette corrette per ogni input, aiutando il modello a classificare i dati in classi predefinite. Ad esempio, nella classificazione binaria, un modello distingue tra due categorie (come vero o falso). La classificazione multiclasse è un po' più complessa: il modello assegna i dati a una delle diverse classi che deve scegliere.  

Prendiamo come esempio il settore sanitario. Le piattaforme di AI utilizzano spesso la classificazione multiclasse per analizzare immagini mediche come ecografie e risonanze magnetiche per facilitare la diagnosi.

In generale, un'applicazione di AI può esaminare la radiografia di un braccio e classificarlo in una di queste quattro classi: rotto, fratturato, slogato o sano. Se i dati di ground truth sono errati, possono portare a previsioni errate, con potenziali diagnosi errate o cure ritardate.

Le attività di regressione si concentrano sulla previsione di valori continui. I dati di ground truth rappresentano i risultati numerici effettivi che il modello cerca di prevedere. Ad esempio, un modello di regressione lineare può prevedere i prezzi delle case in base a fattori quali metratura, numero di camere e posizione.

Nella mitigazione del cambiamento climatico, i modelli AI utilizzano immagini satellitari e dati di telerilevamento per monitorare i cambiamenti ambientali, compresi i cambiamenti di temperatura o la deforestazione.

In questo caso, i dati di ground truth includono registrazioni verificate di dati meteorologici storici o misurazioni di temperature note. Questi dati di base contribuiscono a garantire che le previsioni dei modelli AI siano accurate e possano orientare decisioni critiche in materia di politiche e azioni per il clima.

Le attività di segmentazione comportano la suddivisione di un'immagine o di un set di dati in regioni o oggetti distinti. I dati di ground truth nella segmentazione sono spesso definiti a livello di pixel per identificare i confini o le regioni all'interno di un'immagine.

Ad esempio, nello sviluppo di veicoli autonomi, le etichette di ground truth vengono utilizzate per addestrare i modelli a rilevare e distinguere tra pedoni, veicoli e segnali stradali in ambienti reali e ad agire di conseguenza. Se le etichette di ground truth sono errate o incoerenti, il modello potrebbe identificare erroneamente gli oggetti, ponendo seri rischi per la sicurezza stradale.

La creazione di dati di ground truth di alta qualità presenta diverse sfide, tra cui:

• Etichettatura incoerente dei dati: i data scientist spesso riscontrano variabilità nei set di dati, il che può portare a incongruenze che influiscono sul comportamento del modello. Anche piccoli errori di etichettatura nelle attribuzioni e nelle citazioni possono accumularsi, causando errori di previsione del modello.
  
  
• Soggettività e ambiguità: molte attività di etichettatura dei dati richiedono un giudizio umano, che può essere soggettivo. Ad esempio, in attività come l'analisi del sentiment, annotatori diversi potrebbero interpretare i dati in modo diverso, portando a incongruenze del ground truth.
  
  
• Complessità dei dati: set di dati ampi e diversificati, comuni in campi come l'elaborazione del linguaggio naturale (NLP) o l'intelligenza artificiale generativa (gen AI), possono essere più difficili da annotare con precisione. La complessità dei dati, con molteplici possibili etichette e sfumature contestuali, può rendere più difficile stabilire un ground truth coerente.
  
  
• Dati distorti e bias: i dati di ground truth potrebbero non essere sempre completamente rappresentativi degli scenari del mondo reale, soprattutto se il set di dati etichettato è incompleto o sbilanciato. Ciò può dare origine a modelli distorti .
  
  
• Scalabilità e costi: l'etichettatura di grandi set di dati, in particolare quelli che richiedono le conoscenze di un esperto e un'osservazione diretta (come le immagini mediche), richiede tempo e denaro. La scalabilità degli sforzi di etichettatura dei dati per soddisfare le esigenze dei moderni sistemi di AI richiede spesso automazione o crowdsourcing, ma questi approcci possono comunque introdurre errori o incongruenze.

Esistono diverse strategie e metodologie che le organizzazioni possono utilizzare per stabilire e ottimizzare dati di ground truth di alta qualità, tra cui:

• Definire l'obiettivo e i requisiti dei dati: la definizione chiara degli obiettivi del modello aiuta le aziende a determinare i tipi di dati ed etichette richiesti, in modo che il processo di raccolta dei dati sia in linea con l'uso previsto del modello. Questo allineamento è particolarmente importante in aree come la computer vision, in cui ML e reti neurali insegnano ai sistemi a ricavare informazioni significative da input visivi.
  
  
• Sviluppo di una strategia di etichettatura completa: le organizzazioni possono creare linee guida standardizzate per l'etichettatura dei dati di ground truth al fine di garantire la coerenza e l'accuratezza in tutto il set di dati. Uno schema di etichettatura ben definito potrebbe indicare come annotare vari formati di dati e mantenere le annotazioni uniformi durante lo sviluppo del modello.
  
  
• Collaborazione tra uomo e macchina: strumenti di machine learning come Amazon SageMaker Ground Truth o IBM Watson Natural Language Understanding possono amplificare l'esperienza degli annotatori umani. Ad esempio, Amazon SageMaker Ground Truth offre un servizio di etichettatura dei dati che facilita la creazione di set di dati di addestramento di alta qualità attraverso processi etichettatura automatizzata e di revisione umana.
  
  
• Verifica della coerenza dei dati: i team possono monitorare la coerenza dei dati etichettati implementando processi di garanzia della qualità, come gli interannotator agreement (IAA). Un IAA è una metrica statistica che misura il livello di coerenza tra diversi annotatori nell'etichettatura degli stessi dati.
  
  
• Gestire i bias: i data scientist devono essere consapevoli e cercare di evitare potenziali pregiudizi nei loro set di dati di ground truth. Possono utilizzare diverse tecniche, tra cui garantire diverse pratiche di raccolta dei dati utilizzando più annotatori diversi per ogni punto dati, referenziare in modo incrociato i dati con fonti esterne o utilizzare strategie di data augmentation per le minoranze.
  
  
• Aggiornare dei dati di ground truth: i dati di ground truth sono un asset dinamico. Le organizzazioni possono confermare le previsioni del loro modello rispetto a nuovi dati e aggiornare il set di dati etichettato via via che le condizioni del mondo reale si evolvono. Immagini satellitari, dati di telerilevamento e modelli di cambiamento climatico sono tutti esempi di set di dati che richiedono una calibrazione continua per mantenere la precisione nel tempo.