I cluster di qualità contengono almeno due proprietà: 

1. Tutti i punti dati all'interno di un cluster devono essere simili.
   
2. I cluster devono essere distinti l'uno dall'altro.

Queste proprietà si ottengono minimizzando la distanza intracluster e massimizzando la distanza intercluster di tutti i punti dati in un set di dati. In altre parole, più un cluster è compatto e isolato dagli altri cluster, meglio è. L'obiettivo dell'algoritmo di k-means clustering è quello di minimizzare la somma degli errori quadratici (SSE).² Il calcolo dell'SSE del quadrato della distanza euclidea di ciascun punto dal suo centroide più vicino valuta la qualità delle assegnazioni dei cluster misurando la variazione totale all'interno di ciascun cluster.

Le metriche di valutazione dei cluster controllano la qualità e forniscono diverse prospettive per analizzare i risultati del clustering. Questo aiuta a selezionare il numero ottimale di cluster e l'inizializzazione del centroide. Le seguenti metriche di valutazione sono metodi comuni per misurare le distanze intracluster e intercluster nel clustering.

Inerzia

L'algoritmo di k-means clustering mira a scegliere centroidi, o centri di cluster, che minimizzano l'inerzia, una metrica di valutazione che misura quanto bene un set di dati è stato raggruppato in base alle metriche di distanza. L'inerzia viene calcolata misurando la distanza tra un punto dati e il suo centroide, elevando al quadrato la distanza e sommando quei quadrati per ogni punto dati nel cluster. La somma o il valore inerziale è la distanza intracluster. Più bassa è la somma, meglio è, perché significa che i punti dati all'interno del cluster sono compatti o più simili.³

L'indice di Dunn

La seconda proprietà viene misurata con l'indice di Dunn. L'indice di Dunn rappresenta la relazione tra la distanza minima intercluster e la distanza massima intracluster. I cluster con un'elevata distanza intercluster indicano una migliore qualità perché significa che i cluster sono il più possibile diversi tra loro.⁴

L'algoritmo di k-means clustering viene utilizzato in quasi tutti i domini e settori. In genere viene applicato ai dati di machine learning che hanno poche dimensioni, sono numerici e possono essere facilmente suddivisi in porzioni.

I ricercatori hanno integrato il k-means clustering con metodi di deep learning come CNN e RNN per migliorare le prestazioni di varie attività di machine learning come la computer vision, l'NLP e molti altri domini. Di seguito è riportato un elenco di applicazioni comuni del k-means clustering:

Segmentazione dei clienti: la pratica di dividere i clienti di un'azienda in gruppi in base a caratteristiche comuni che riflettono la somiglianza. Questa strategia consente alle aziende di rivolgersi a specifici cluster o gruppi di clienti per campagne pubblicitarie specifiche.

Classificazione dei documenti: una procedura per assegnare varie classi o categorie ai documenti. Questo metodo è utilizzato da molte organizzazioni per moderare i contenuti. Consulta questa documentazione di Watson Discover per creare un classificatore di documenti.  

Segmentazione delle immagini: una tecnica di computer vision che divide un'immagine digitale in gruppi distinti di pixel. Questa ricerca approfondisce il modo in cui i modelli k-means vengono utilizzati per aiutare a identificare i confini nelle immagini mediche.¹⁰

Motori di raccomandazione: le applicazioni in tutto il web utilizzano motori di raccomandazione. L'analisi delle componenti principali e le tecniche di k-means clustering vengono utilizzate per creare raccomandazioni di prodotto per le aziende di e-commerce.¹¹

Per un'esperienza di apprendimento pratica, consulta il tutorial che spiega i fondamenti dell'esecuzione del k-means clustering in Python utilizzando IBM Watson Studio su watsonx.ai.

Questa esercitazione usa un modulo della libreria scikit-learn (sklearn) che esegue il k-means clustering. Il modulo include tecniche di ottimizzazione integrate che vengono manipolate dai suoi parametri di classe. La classe per il modulo è simile a questa:

class sklearn.cluster.KMeans(n_clusters=8, *, init='k-means++', n_init='auto', max_iter=300, tol=0.0001, verbose=0, random_state=None, copy_x=True, algorithm='lloyd')12

I parametri includono il numero di cluster da formare e il numero di centroidi da generare (n_clusters). Sono disponibili due metodi di inizializzazione: k-means++ e casuale. Include anche gli attributi per impostare il numero massimo di iterazioni. Ogni iterazione inizia con la suddivisione del set di dati nel valore del parametro n_cluster.

Queste librerie vengono utilizzate per generare un set di dati di test ed eseguire il clustering:  

import pandas as pd 
import sklearn
import matplotlib.pyplot as plt
import seaborn as sns
import numpy

from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

Vantaggi

Alcuni benefici comuni del k-means clustering nelle applicazioni di machine learning includono:

Semplice: il k-means clustering è semplice da capire e da mettere in pratica. È la tecnica di machine learning non supervisionato più popolare.

Veloce: il k-means clustering è progettato con un approccio iterativo computazionalmente semplice. L'algoritmo di k-means clustering è più veloce del clustering gerarchico che comporta la costruzione di una struttura ad albero di cluster e richiede il calcolo della distanza a coppie tra tutti i punti dati.

Scalabile: k-means è anche facilmente scalabile su set di dati di grandi dimensioni e si generalizza a cluster di diverse forme e dimensioni, il che è ideale per l'analisi dei cluster. Poiché l'algoritmo è così efficiente dal punto di vista computazionale, è più scalabile e adatto a set di dati di grandi dimensioni rispetto ad altri metodi.

Svantaggi 

Alcune sfide comuni associate al k-means clustering includono:

Dipendenza dai parametri di input: il k-means clustering dipende dai parametri di input impostati correttamente. L'inizializzazione del centroide e del numero di cluster corretti è impeccabile per ottenere risultati significativi sui cluster. Un'inizializzazione errata del centroide potrebbe causare un aumento del tempo di esecuzione e assegnazioni di cluster di bassa qualità. Molte ricerche sono state condotte per migliorare la procedura di inizializzazione del centroide per ottenere migliori risultati di clustering e tempi di convergenza più rapidi.

Possibile sottoperformance su alcuni set di dati: k-means funziona in modo efficace quando il set di dati contiene cluster di dimensioni simili e non ci sono outlier o variazioni di densità degne di nota. K-means ha prestazioni scarse quando il set di dati contiene molte variazioni o è altamente dimensionale. I dati che non sono allineati con alcune ipotesi del set di dati potrebbero causare la produzione di cluster di bassa qualità da parte di k-means.¹³ Ad esempio, i cluster di dimensioni non uniformi potrebbero inclinare i centroidi verso i cluster più grandi, causando distorsioni e classificazioni errate tra i cluster più piccoli. Per risolvere questo problema, k-means può essere generalizzato utilizzando modelli probabilistici come il nodo Gaussian Mixture.

Impatto significativo dei outlier: gli outlier hanno un impatto significativo sui risultati del k-means clustering. I diversi cluster dovrebbero essere distanti, ma non così distanti da distorcere i punti dati. È importante considerare le ipotesi dei dati prima di applicare k-means. K-means è particolarmente sensibile agli outlier poiché mira a determinare i centroidi calcolando la media dei valori con un cluster. Questa sensibilità rende i dati inclini all'overfitting per includere questi outlier.