Il bagging, noto anche come aggregazione del bootstrap, è il metodo di apprendimento di insieme comunemente utilizzato per ridurre la varianza in un dataset rumoroso. Nel metodo bagging, un campione casuale di dati in un set di addestramento è selezionato con sostituzione, il che significa che i singoli punti di dati possono essere scelti più di una volta. Dopo che sono stati generati diversi campioni di dati, questi modelli vengono addestrati in modo indipendente e, a seconda del tipo di attività, ad esempio regressione o classificazione, la media o la maggioranza di queste previsioni produce una stima più accurata.
Come nota, l'algoritmo di foresta casuale è considerato un'estensione del metodo di bagging, che utilizza sia il bagging che la casualità delle funzioni per creare una foresta non correlata di alberi delle decisioni.
L'apprendimento di insieme dà credito all'idea della “saggezza delle folle,” che suggerisce che il processo decisionale di un gruppo più ampio di persone è tipicamente migliore di quello di un singolo esperto. Allo stesso modo, l'apprendimento di insieme si riferisce a un gruppo (o insieme) di "allievi" base, o modelli, che lavorano collettivamente per ottenere una previsione finale migliore. Le prestazioni di un singolo modello, noto anche allievo base o debole, potrebbero non essere individualmente buone, a causa di del livello elevato di varianza o distorsione. Tuttavia, quando gli allievi deboli vengono aggregati, possono formare un allievo forte, poiché la loro combinazione riduce la distorsione o varianza, producendo prestazioni migliori del modello.
I metodi di insieme sono spesso illustrati utilizzando alberi delle decisione poiché questo algoritmo può essere soggetto a sovradattamento (elevata varianza e bassa distorsione) quando non è stato ripulito e può anche prestarsi a sottoadattamento (bassa varianza ed elevata distorsione) quando ha dimensioni molto ridotte, ad esempio un tronco di decisione, cioè un albero delle decisioni con un solo livello. Si tenga a mente che quando un algoritmo si adatta troppo o troppo poco al suo set di addestramento, non può generalizzare in modo efficiente a nuovi dataset, quindi vengono utilizzati metodi di insieme per consentire la generalizzazione del modello a nuovi dataset. Anche se gli alberi delle decisioni possono presentare elevata varianza o distorsione, vale la pena di notare non è l'unica tecnica di creazione di modelli che utilizza efficacemente l'apprendimento d'insieme per individuare il “punto giusto” nel compromesso tra distorsione e varianza.
Bagging e boosting sono due principali tipologie di metodi di apprendimento d'insieme. Come evidenziato in questo studio (PDF, 248 KB) (link esterno a ibm.com), la differenza principale tra questi metodi di apprendimento è il modo in cui i modelli vengono addestrati. Nel bagging, gli allievi deboli vengono addestrati in parallelo, invece nel boosting apprendono in sequenza. Ciò significa che viene costruita una serie di modelli e, ad ogni iterazione di nuovo modello, vengono aumentati i pesi dei dati erroneamente classificati nel modello precedente. Questa ridistribuzione dei pesi aiuta l'algoritmo ad identificare i parametri su cui deve focalizzarsi per migliorare le sue prestazioni. AdaBoost, che sta per “algoritmo di boosting adattivo,” è uno dei più popolari algoritmi di boosting, in quanto è stato uno dei primi nel suo genere. Altri tipi di algoritmi di boosting includono XGBoost, GradientBoost e BrownBoost.
Un'altra differenza tra bagging e boosting è rappresentata dagli scenari in cui vengono utilizzati. Ad esempio, i metodi di bagging sono in genere utilizzati su allievi deboli che presentano elevata varianza e bassa distorsione, mentre i metodi di boosting vengono sfruttati quando si osserva una bassa varianza e un'elevata distorsione.
Nel 1996, Leo Breiman (PDF, 829 KB) (link esterno a ibm.com) ha introdotto l'algoritmo di bagging, con tre passaggi di base:
Esistono una serie di vantaggi e sfide fondamentali che il metodo di bagging presenta quando viene utilizzato per problemi di classificazione o regressione. I vantaggi fondamentali del bagging includono:
Le sfide fondamentali del bagging includono:
La tecnica del bagging viene utilizzata in un gran numero di settori d'industria, fornendo insight per il valore del mondo reale e prospettive interessanti, come ad esempio in GRAMMY Debates with Watson. I casi d'uso fondamentali includono:
Soluzioni IBM supportano il ciclo di vita del machine learning end-to-end. Scopri come gli strumenti per la creazione di modelli di IBM, ad esempio IBM SPSS Modeler e Watson Studio, possono supportarti nella creazione di diversi modelli e nella loro ottimizzazione per quanto riguarda l'accuratezza, migliorando le previsioni e le eventuali successive analisi dei dati.
Registrati per ottenere un IBMid e crea un account IBM Cloud oggi stesso e unisciti alla IBM Data Science Community per ulteriori informazioni su data science e machine learning.
IBM SPSS Modeler offre servizi di predictive analytics per aiutarti a scoprire correlazioni tra i dati, ottenere precisione previsionale e migliorare il processo decisionale.
Sviluppa e ridimensiona un'AI affidabile su qualsiasi cloud. Automatizza il ciclo di vita dell'AI per ModelOps.
Esplora la IBM Data Science Community per ulteriori informazioni su data science e machine learning.