Los clústeres de calidad contienen al menos dos propiedades: 

1. Todos los puntos de datos dentro de un clúster deben ser similares.
   
2. Los clústeres deben ser distintos entre sí.

Estas propiedades se logran minimizando la distancia dentro del clúster y maximizando la distancia entre clústeres de todos los puntos de datos en un conjunto de datos. En otras palabras, cuanto más compacto y aislado esté un clúster de otros clústeres, mejor. El objetivo del algoritmo de agrupamiento k-means es minimizar la suma de errores cuadráticos (SSE).² Calcular el SSE de la distancia euclidiana al cuadrado de cada punto a su centroide más cercano evalúa la calidad de las asignaciones de clústeres midiendo la variación total dentro de cada clúster.

Las métricas de evaluación de clústeres verifican la calidad y proporcionan diferentes perspectivas para analizar los resultados de la agrupación. Esto ayuda a seleccionar el número óptimo de clústeres y la inicialización del centroide. Las siguientes métricas de evaluación son formas comunes de medir las distancias dentro y entre clústeres en la agrupación.

Inercia

El algoritmo de agrupación k-means tiene como objetivo elegir los centroides, o centros de agrupación, que minimicen la inercia, una métrica de evaluación que mide lo bien que se agrupó un conjunto de datos basar en métricas de distancia. La inercia se calcula midiendo la distancia entre un punto de datos y su centroide, elevando la distancia al cuadrado y sumando esos cuadrados para cada punto de datos del conglomerado. La suma o valor inercial es la distancia intracluster. Cuanto menor sea la suma, mejor, porque significa que los puntos de datos dentro del clúster son compactos o más similares.³

El índice de Dunn

La segunda propiedad se mide con el índice de Dunn. El índice de Dunn representa la relación entre la distancia mínima entre clústeres y la distancia máxima dentro de clústeres. Los clústeres con una distancia entre clústeres alta indican una mejor calidad porque significa que los clústeres son tan diferentes entre sí como sea posible.⁴

El algoritmo de agrupamiento de medias k se utiliza en casi todos los dominios e industrias. Generalmente se aplica a datos de machine learning que tienen pocas dimensiones, son numéricos y se pueden dividir fácilmente.

Los investigadores han integrado el agrupamiento de medias k con métodos de aprendizaje profundo como CNN y RNN para mejorar el rendimiento de diversas tareas de aprendizaje automático como visión artificial, PLN y muchos otros dominios. A continuación se muestra una lista de aplicaciones comunes de agrupamiento de medias k:

Segmentación de clientes: La práctica de dividir a los clientes de una compañía en grupos según características comunes que reflejen similitud. Esta estrategia permite a las compañías dirigir a grupos o clusters específicos de clientes para campañas publicitarias específicas.

Clasificación de documentos: procedimiento para asignar varias categorías a los documentos. Muchas organizaciones utilizan este método para moderar el contenido. Consulte esta documentación de watsonx Discover para crear un clasificador de documentos.  

Segmentación de imágenes: técnica de visión artificial que divide una imagen digital en conjuntos distintos de pixeles. Esta investigación analiza cómo se emplean los modelos k-means para ayudar a identificar límites en imágenes médicas.¹⁰

Motores de recomendación: las aplicaciones de toda la web utilizan motores de recomendación. El análisis de componentes principales y las técnicas de agrupación de medias k se utilizan para crear recomendaciones de productos para empresas de comercio electrónico.¹¹

Para obtener una experiencia de aprendizaje práctica, consulte el tutorial que explica los fundamentos de la realización de clústeres k-means en Python mediante el uso de IBM Watson Studio en watsonx.ai.

En este tutorial se emplea un módulo de la biblioteca scikit-learn (sklearn) que realiza la agrupación en clústeres de k-medias. El módulo incluye técnicas de optimización integradas que son manipuladas por sus parámetros de clase. La clase del módulo tiene el siguiente aspecto:

class sklearn.cluster.KMeans(n_clusters=8, *, init='k-means++', n_init='auto', max_iter=300, tol=0.0001, verbose=0, random_state=Ninguno, copy_x=Verdadero, algorithm='lloyd')12

Los parámetros incluyen el número de clusters que hay que formar y el número de centroides que hay que generar (n_clusters). Hay dos métodos de inicialización disponibles: medias k++ y aleatorio. También incluye atributos para fijar el número máximo de iteraciones. Cada iteración comienza particionando el conjunto de datos en el valor del parámetro n_clustersparameter.

Estas bibliotecas se emplean para generar un conjunto de datos de prueba y realizar agrupaciones:  

import pandas as pd 
import sklearn
import matplotlib.pyplot as plt
import seaborn as sns
import numpy

from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

Ventajas

Algunos de los beneficios habituales del agrupamiento de medidas K en las aplicaciones de machine learning son:

Sencillo: el agrupamiento de medias K es fácil de entender y poner en práctica. Es la técnica de aprendizaje automático no monitorear más popular.

Rápido: la agrupación en clústeres K-means está diseñada con un enfoque iterativo computacionalmente simple. El algoritmo de agrupación en clústeres k-means es más rápido que el agrupamiento jerárquico que implica la construcción de una estructura de clústeres en forma de árbol y requiere calcular la distancia por pares entre todos los puntos de datos.

Escalable: las medias K también son fácilmente escalables a grandes conjuntos de datos y se generaliza a clústeres de diferentes formas y tamaños, lo que es ideal para el análisis de clústeres. Dado que el algoritmo es tan eficiente desde el punto de vista computacional, es más escalable y adecuado para grandes conjuntos de datos en comparación con otros métodos.

Desventajas 

Algunos desafíos comunes asociados con la agrupación en clústeres k-means incluyen:

Dependencia de los parámetros de entrada: La agrupación en clústeres de K-means depende de los parámetros de entrada configurados correctamente. La inicialización del centroide y el número de clústeres adecuados es impecable para obtener resultados de clúster significativos. Una inicialización incorrecta del centroide puede provocar un aumento del tiempo de ejecución y asignaciones de clústeres de baja calidad. Se realizaron muchas investigaciones para mejorar el procedimiento de inicialización del centroide para obtener mejores resultados de agrupación en clústeres y un tiempo de convergencia más rápido.

Posible bajo rendimiento en determinados conjuntos de datos: las medias k funcionan de forma eficaz cuando el conjunto de datos contiene clústeres de tamaño similar y no hay valores atípicos ni variaciones de densidad notables. Las medias k funcionan mal cuando el conjunto de datos contiene muchas variaciones o es muy dimensional. Los datos que no se alinean con ciertas suposiciones de conjuntos de datos pueden provocar que las medias k produzcan clústeres de baja calidad.¹³ Por ejemplo, los clústeres de tamaños desiguales pueden sesgar los centroides hacia los grupos más grandes, lo que provoca sesgos y errores de clasificación entre los grupos más pequeños. Para resolver este problema, las medias k se pueden generalizar mediante modelos probabilísticos, como el nodo de mezcla gaussiana.

Impacto significativo de los valores atípico: los valores atípicos tienen un impacto significativo en los resultados de la agrupación en clústeres de medias k. Los diferentes clústeres deben estar muy separados, pero no tanto como para sesgar los puntos de datos. Es importante tener en cuenta las suposiciones de los datos antes de aplica medias K. Las medias K son especialmente sensibles a los valores atípicos, ya que su objetivo es determinar los centroides promediando los valores con un clúster. Esta sensibilidad hace que sea propenso al sobreajuste para incluir estos valores atípicos.