Qu’est-ce que le clustering k-means ?

Les clusters de qualité contiennent au moins deux propriétés : 

1. Tous les points de données du cluster doivent être similaires.
   
2. Les clusters doivent être distincts les uns des autres.

Ces propriétés sont obtenues en minimisant la distance intracluster et en maximisant la distance intercluster de tous les points de données d'un jeu de données. En d'autres termes, plus un cluster est compact et isolé des autres, mieux c'est. L’objectif de l’algorithme de clustering k-means est de minimiser la somme des erreurs quadratiques (SSE).² Le calcul de la SSE de la distance euclidienne quadratique de chaque point par rapport à son centroïde le plus proche permet d’évaluer la qualité des attributions de cluster en mesurant la variation totale au sein de chaque cluster.

Les métriques d’évaluation de cluster vérifient la qualité et fournissent différentes perspectives pour analyser les résultats de clustering. Cela permet de sélectionner le nombre optimal de clusters et d'initialiser les centroïdes. Les indicateurs d’évaluation suivants sont des moyens courants de mesurer les distances intra et interclusters dans le partitionnement.

Inertie

L'algorithme de clusters k-means vise à choisir des centroïdes, ou centres de clusters, qui minimisent l'inertie, une mesure d'évaluation qui évalue la qualité du regroupement d'un ensemble de données sur la base de mesures de distance. L'inertie est calculée en mesurant la distance entre un point de données et son centroïde, en élevant cette distance au carré et en additionnant ces carrés pour chaque point de données dans la grappe. La somme ou valeur inertielle est la distance intracluster. Plus la somme est faible, mieux c'est, car cela signifie que les points de données au sein de la grappe sont compacts ou plus similaires.³

L’indice de Dunn

La deuxième propriété est mesurée avec l’indice de Dunn. L’indice de Dunn représente la relation entre la distance minimale intercluster et la distance maximale intracluster. Les clusters avec une distance intercluster élevée indiquent une meilleure qualité, car cela signifie que les clusters sont aussi différents que possible les uns des autres.⁴

L’algorithme de clustering k-means est utilisé dans chaque domaine et chaque secteur, ou presque. On l’applique généralement aux données de machine learning qui ont peu de dimensions, qui sont numériques et faciles à partitionner.

Les chercheurs ont intégré le clustering k-means à des méthodes d’apprentissage profond telles que les CNN et les RNN pour améliorer les performances de diverses tâches de machine learning telles que la vision par ordinateur, le NLP et de nombreux autres domaines. Voici une liste d’applications courantes de clustering k-means :

Segmentation des clients : cette pratique consiste à diviser les clients d'une entreprise en groupes en fonction de caractéristiques communes qui reflètent des similitudes. Cette stratégie permet aux entreprises de cibler des clusters ou des groupes de clients spécifiques pour des campagnes publicitaires spécifiques.

Classification des documents : une procédure pour attribuer différentes classes ou catégories aux documents. Cette méthode est utilisée par de nombreuses organisations pour modérer le contenu. Consultez cette documentation Watson Discover pour créer un classificateur de documents.  

Segmentation d'image : technique de vision par ordinateur qui divise une image numérique en ensembles distincts de pixels. Cette recherche examine comment les modèles k-means sont utilisés pour aider à identifier les limites des images médicales ¹⁰ .

Moteurs de recommandation : les applications partout sur le web utilisent des moteurs de recommandation. Analyse des composantes principales et les techniques de clustering en k-means sont utilisées pour formuler des recommandations de produits pour les entreprises de e-commerce.¹¹

Pour une expérience d’apprentissage pratique, consultez le tutoriel qui explique les principes fondamentaux de la réalisation du partitionnement en k-means dans Python en utilisant IBM Watson Studio sur watsonx.ai.

Ce tutoriel utilise un module de la bibliothèque scikit-learn (sklearn) qui effectue le clustering k-means. Le module comprend des techniques d’optimisation intégrées qui sont manipulées par ses paramètres de classe. La classe du module ressemble à ceci :

class sklearn.cluster.KMeans(n_clusters=8, *, init= 'k-means++', n_init= 'auto', max_iter=300, tol=0.0001, verbose=0, random_state= Gene, copy_x=True, algorithm= 'workd')12

Les paramètres incluent le nombre de clusters à former et le nombre de centroïdes à générer (n_clusters). Il existe deux méthodes d’initialisation disponibles : k-means++andrandom. Il comprend également des attributs permettant de définir le nombre maximal d'itérations. Chaque itération commence par la partition du jeu de données selon la valeur du paramètre n_clusters.

Ces bibliothèques sont utilisées pour générer un jeu de données de test et réaliser un partitionnement :  

import pandas as pd 
import sklearn
import matplotlib.pyplot as plt
import seaborn as sns
import numpy

from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

Avantages

Voici les principaux avantages du clustering k-means dans les applications de machine learning :

Simple : le clustering k-means est simple à comprendre et à mettre en œuvre. Il s’agit de la technique de machine learning non supervisé la plus utilisée.

Rapide : le partitionnement en k-means est conçu avec une approche itérative simple et efficace. L'algorithme de clustering en k-means est plus rapide que le regroupement hiérarchique, qui implique la création d'une structure arborescente de clusters et nécessite de calculer la distance par paires entre tous les points de données.

Évolutif : K-means est également facilement évolutif à de grands jeux de données et se généralise à des clusters de formes et de tailles différentes, ce qui est idéal pour l'analyse des clusters. Comme l'algorithme est très efficace sur le plan des calculs, il est plus évolutif et convient mieux aux grands jeux de données que d'autres méthodes.

Inconvénients 

Voici quelques défis courants associés au clustering k-means :

Dépendance à l'égard des paramètres d'entrée : le clustering K-means dépend du réglage correct des paramètres d'entrée. L’initialisation du centroïde et du nombre de clusters appropriés est impeccable pour obtenir des résultats de cluster significatifs. Une mauvaise initialisation du centroïde peut entraîner une augmentation de la durée d'exécution et une mauvaise qualité des attributions de clusters. De nombreuses recherches ont été consacrées à l'amélioration de la procédure d'initialisation des centroïdes afin d'obtenir de meilleurs résultats de clustering et d'accélérer le temps de convergence.

Sous-performance possible sur certains jeux de données : K-means fonctionne efficacement lorsque le jeu de données contient des clusters de taille similaire et qu'il n'y a pas de valeurs aberrantes ou de variations de densité notables. K-means fonctionne mal lorsque le jeu de données contient de nombreuses variations ou qu'il est très dimensionnel. Les données qui ne s'alignent pas sur certaines hypothèses de jeu de données peuvent entraîner la production de k-means pour des clusters de mauvaise qualité.¹³ Par exemple, des clusters de taille inégale peuvent incliner les centroïdes vers les plus grands clusters, ce qui entraîne des biais et des erreurs de classification parmi les plus petits clusters. Pour résoudre ce problème, les k-means peuvent être généralisés à l’aide de modèles probabilistes comme le nœud de mélange gaussien.

Incidence significativ des données aberrantes : les données aberrantes ont un impact significatif sur les résultats du regroupement k-means. Les différents clusters doivent être éloignés, mais pas trop loin pour fausser les points de données. Il est important de prendre en compte les hypothèses de données avant d’appliquer des k-means. Le k-means est particulièrement sensible aux données aberrantes, car il vise à déterminer les centroïdes en calculant la moyenne des valeurs d'un cluster. Cette sensibilité les rend sujets au surajustement pour inclure ces données aberrantes.