Creazione di un esperimento di analisi testuale
Utilizza la funzione di analisi testuale di AutoAI's per analizzare i testi relativi ai tuoi esperimenti. Ad esempio, eseguire un'analisi di base del sentiment per prevedere un risultato sulla base dei commenti testuali.
Panoramica sull'analisi del testo
Quando si crea un esperimento che utilizza la funzione di analisi del testo, il processo di " AutoAI " impiega word2vec l'algoritmo per trasformare il testo in vettori, quindi confronta i vettori per determinare l'impatto sulla colonna di previsione.
word2vec L'algoritmo accetta come input un corpus di testo e restituisce un insieme di vettori. Trasformando il testo in una rappresentazione numerica, è in grado di individuare e confrontare parole simili. Se addestrato con una quantità sufficiente di dati, word2vec è in grado di fornire previsioni accurate sul significato di una parola o sulla sua relazione con altre parole. Le previsioni possono essere utilizzate per analizzare il testo e dedurne il significato nelle applicazioni di analisi del sentiment.
Durante la fase di feature engineering dell'addestramento dell'esperimento, vengono generate 20 caratteristiche per la colonna di testo, utilizzando word2vec l'algoritmo. Il rilevamento automatico delle caratteristiche del testo si basa sull'analisi del numero di valori univoci in una colonna e del numero di token in un record (numero minimo = 3). Se il numero di valori univoci è inferiore al numero totale di valori diviso per 5, la colonna non viene considerata come testo.
Al termine dell'esperimento, potrai consultare i risultati della feature engineering dalla pagina dei dettagli della pipeline. È inoltre possibile salvare una pipeline come notebook, dove è possibile rivedere le trasformazioni e visualizzarne una rappresentazione grafica.
Esempio: analisi dei commenti dei clienti
In questo esempio, i commenti relativi a una società di autonoleggio fittizia vengono utilizzati per addestrare un modello in grado di prevedere il livello di soddisfazione quando viene inserito un nuovo commento.
Guarda questo breve video per vedere l'esempio, poi leggi ulteriori dettagli sulla funzione di testo sotto il video.
Questo video offre un approccio visivo per apprendere i concetti e le operazioni descritti in questa documentazione.
Dato un set di dati che contiene una colonna con i commenti relativi all'esperienza di noleggio (Customer_service) e una colonna con una valutazione binaria della soddisfazione (Satisfaction), in cui 0 indica un commento negativo e 1 un commento positivo, il modello viene addestrato per prevedere il livello di soddisfazione quando viene inserito un nuovo feedback.
Esperimento di addestramento per la trasformazione di testi
Dopo aver caricato il set di dati e specificato la colonna di previsione (Soddisfazione), nelle impostazioni dell'esperimento viene selezionata l'opzione "Usa feature engineering di testo ".
Ecco alcuni dettagli utili per ottimizzare il tuo esperimento di analisi testuale:
- È possibile accettare l'impostazione predefinita, che seleziona automaticamente le colonne di testo, oppure esercitare un maggiore controllo specificando manualmente le colonne da utilizzare per l'elaborazione delle caratteristiche del testo.
- Durante l'esecuzione dell'esperimento, l'algoritmo genera un numero
word2vecpredefinito di 20 caratteristiche per la colonna di testo. È possibile modificare quel valore per aumentare o diminuire il numero di elementi. Più vettori si generano, più accurato sarà il modello, ma più tempo richiederà l'addestramento. - Le restanti opzioni si applicano a tutti i tipi di esperimenti, consentendoti di definire con precisione come gestire i dati di addestramento finali.
Esegui l'esperimento per osservare le trasformazioni in corso.
Seleziona il nome di una pipeline, quindi fai clic su "Riepilogo funzionalità" per visualizzare le trasformazioni di testo.
È inoltre possibile salvare la pipeline dell'esperimento come notebook e visualizzare le trasformazioni sotto forma di grafico.
Implementazione e valutazione di un modello di trasformazione del testo
Quando si valuta questo modello, inserire nuovi commenti per ottenere una previsione, corredata da un punteggio di affidabilità, che indichi se il commento determinerà una valutazione di soddisfazione positiva o negativa.
Ad esempio, inserendo il commento «Ci sono volute quasi tre ore per trovare un'auto. «Era assurdo», prevede un indice di soddisfazione pari a 0 con un livello di confidenza del 95%.
Passi successivi
Realizzazione di un esperimento di previsione di serie temporali