L'apprendimento supervisionato può essere suddiviso in due tipi di problemi durante il data mining: classificazione e regressione.

• La classificazione utilizza un algoritmo per assegnare con precisione i dati dei test in categorie specifiche. Riconosce entità specifiche all'interno del set di dati e tenta di trarre alcune conclusioni su come tali entità devono essere etichettate o definite. Gli algoritmi di classificazione comuni sono classificatori lineari, macchine a vettori di supporto (SVM), alberi decisionali, K-nearest neighbor e foresta casuale, descritti in dettaglio di seguito.

• La regressione viene utilizzata per comprendere la relazione tra variabili dipendenti e indipendenti. Viene comunemente utilizzata per elaborare proiezioni, ad esempio i ricavi delle vendite per una determinata azienda. La regressione lineare, la regressione logistica e la regressione polinomiale sono algoritmi di regressione diffusi.

Vari algoritmi e tecniche di calcolo sono utilizzati nei processi di machine learning supervisionato, spesso calcolati attraverso l'uso di programmi come Python. Gli algoritmi di apprendimento supervisionati includono:

• AdaBoost o gradient boosting: chiamato anche adaptive boosting⁷, questa tecnica potenzia un algoritmo di regressione poco performante combinandolo con alcuni più deboli per creare un algoritmo più potente che produca meno errori. Il boosting combina il potere di previsione di diversi stimatori di base.

• Reti neurali artificiali: note anche come ANN, reti neurali o reti neurali simulate (SNN), sono un sottoinsieme di tecniche di machine learning e sono al centro degli algoritmi di deep learning. L’algoritmo di apprendimento riconosce modelli nei dati di input utilizzando elementi costitutivi chiamati neuroni, simili ai neuroni del cervello umano, che vengono addestrati e modificati nel tempo. (Maggiori informazioni in "reti neurali".)

• Algoritmi dell'albero decisionale: utilizzati sia per prevedere valori numerici (problemi di regressione) che per classificare i dati in categorie, gli alberi decisionali utilizzano una sequenza di ramificazione di decisioni collegate che possono essere rappresentate con un diagramma ad albero. Uno dei vantaggi degli alberi decisionali è che sono facili da convalidare e verificare, a differenza della black box di una rete neurale.

• Riduzione della dimensionalità: quando un set di dati selezionato ha un numero elevato di funzioni⁷ , ha un'elevata dimensionalità. La riduzione della dimensionalità riduce quindi il numero di funzioni, lasciando solo gli insight o le informazioni più significative. Un esempio è l'analisi delle componenti principali.

• K-nearest neighbor: noto anche come KNN, questo algoritmo non parametrico classifica i punti dati in base alla loro prossimità e associazione ad altri dati disponibili. Presuppone che punti dati simili possano essere trovati uno vicino all'altro. Di conseguenza, cerca di calcolare la distanza tra i punti dati, solitamente attraverso la distanza euclidea, e quindi assegna una categoria in base alla categoria o alla media più frequente. 

• Regressione lineare: la regressione lineare viene utilizzata per identificare la relazione tra una variabile dipendente e una o più variabili indipendenti ed è generalmente utilizzata per fare previsioni sui risultati futuri. Quando c'è una sola variabile indipendente e una sola variabile dipendente, si parla di regressione lineare semplice.

• Regressione logistica: sebbene la regressione lineare sia sfruttata quando le variabili dipendenti sono continue, la regressione logistica viene selezionata quando la variabile dipendente è categorica, il che significa che ci sono output binari, come "true" e "false" o "yes" e "no". Mentre entrambi i modelli di regressione cercano di comprendere le relazioni tra gli input di dati, la regressione logistica viene utilizzata principalmente per risolvere problemi di classificazione binaria, ad esempio l'identificazione della posta indesiderata.

• Reti neurali: sfruttate principalmente per algoritmi di deep learning, le reti neurali elaborano i dati di addestramento di input imitando l'interconnessione del cervello umano attraverso strati di nodi. Ciascun nodo è costituito da input, pesi, distorsioni (soglia) e output. Se il valore di output supera una determinata soglia, “innesca ” o attiva il nodo, passando i dati al livello successivo della rete. Le reti neurali imparano dalle regolazioni in base alla funzione di perdita attraverso il processo di discesa del gradiente. Quando la funzione di costo è pari o prossima allo zero, puoi essere sicuro della precisione del modello.

• Naïve Bayes: questo approccio adotta il principio dell'indipendenza condizionale di classe del teorema di Bayes. Ciò significa che la presenza di una caratteristica non influisce sulla presenza di un'altra nella probabilità di un determinato risultato e ogni predittore ha un effetto uguale su quel risultato. Esistono tre tipi di classificatori Naïve Bayes: Naïve Bayes Multinomiale, Naïve Bayes Bernoulli e Naïve Bayes Gaussiano. Questa tecnica viene utilizzata principalmente nella classificazione dei testi, nell'identificazione dello spam e nei sistemi di raccomandazione.

• Foreste casuali: in una foresta casuale, l'algoritmo di machine learning prevede un valore o una categoria combinando i risultati da una serie di alberi decisionali. La "foresta" si riferisce ad alberi decisionali non correlati, che vengono assemblati per ridurre la varianza e consentire previsioni più accurate.

• Macchine a vettori di supporto (SVM): questo algoritmo può essere utilizzato sia per la classificazione dei dati che per la regressione, ma solitamente viene utilizzato per problemi di classificazione, creando un piano ipertestuale in cui la distanza tra due classi di punti dati è al massimo. Questo iperpiano è noto come confine decisionale, che separa le classi di punti dati (come arance e mele) su entrambi i lati del piano.

A differenza dell'apprendimento supervisionato, l'apprendimento non supervisionato utilizza dati non etichettati. Da questi dati, l'algoritmo scopre modelli che aiutano a risolvere problemi di clustering o associazione. Ciò è particolarmente utile quando gli esperti del settore non sono sicuri delle proprietà comuni all'interno di un set di dati. Gli algoritmi di clustering più comuni sono quelli gerarchici, K-means, Gaussian Mixture Models e i metodi di riduzione della dimensionalità come PCA e t-SNE.

• Clustering: questi algoritmi possono identificare i modelli nei dati in modo che possano essere raggruppati. Gli algoritmi possono aiutare i data scientist identificando le differenze tra gli elementi di dati che gli esseri umani hanno trascurato.

• Clustering gerarchico: consente di raggruppare i dati in un albero di cluster⁸. Il clustering gerarchico inizia considerando ogni punto dati come un cluster separato. Quindi, esegue ripetutamente questi passaggi: 1) identificazione dei due cluster che possono essere più vicini tra loro e 2) unione due cluster più confrontabili. Questi passaggi continuano fino a quando tutti i cluster non vengono uniti.

• K-means clustering: identifica i gruppi all'interno dei dati senza etichette⁹  in cluster diversi trovando gruppi di dati simili l'uno all'altro. Il nome "K-means" deriva dai centroidi $k$ utilizzati per definire i cluster. Un punto viene assegnato a un cluster specifico se è più vicino al centroide di quel cluster rispetto a qualsiasi altro centroide.

Algoritmi di apprendimento semi-supervisionati

In questo caso, l'apprendimento avviene quando solo una parte dei dati di input è stata etichettata, dando all'algoritmo un po' di "vantaggio". Questo approccio può combinare il meglio di entrambi i mondi¹⁰: una maggiore precisione associata al machine learning supervisionato e la capacità di utilizzare dati non etichettati a costi contenuti, come nel caso del machine learning non supervisionato.

Algoritmi di rinforzo

In questo caso, gli algoritmi vengono addestrati proprio come gli esseri umani - attraverso ricompense e penalità - che vengono misurate e monitorate da un agente di apprendimento per^rinforzo11 che ha una comprensione generale della probabilità di far salire o scendere il punteggio. Attraverso tentativi ed errori, l'agente impara a intraprendere azioni che portano ai risultati più favorevoli nel tempo. L'apprendimento per rinforzo è spesso utilizzato¹²  nella gestione delle risorse, nella robotica e nei videogiochi.