Os clusters de qualidade contêm pelo menos duas propriedades: 

1. Todos os pontos de dados em um cluster devem ser semelhantes.
   
2. Os clusters devem ser distintos uns dos outros.

Essas propriedades são obtidas minimizando a distância intracluster e maximizando a distância entre clusters de todos os pontos de dados em um conjunto de dados. Em outras palavras, quanto mais compacto e isolado for um cluster de outros clusters, melhor. O objetivo do algoritmo de agrupamento k-means é minimizar a soma dos erros quadrados (SSE).² O cálculo do SSE da distância euclidiana quadrada de cada ponto até o centroide mais próximo avalia a qualidade das atribuições do agrupamento medindo a variação total dentro de cada agrupamento.

As métricas de avaliação de cluster verificam a qualidade e apresentam diversas perspectivas para analisar os resultados do cluster. Isso ajuda a selecionar o número ideal de clusters e a inicialização do centroide. As seguintes métricas de avaliação são maneiras comuns de medir as distâncias intra e intercluster no agrupamento.

Inércia

O algoritmo de agrupamento k-means tem como objetivo escolher centroides, ou centros de agrupamento, que minimizem a inércia, uma métrica de avaliação que mede o grau de agrupamento de um conjunto de dados com base em métricas de distância. A inércia é calculada medindo-se a distância entre um ponto de dados e seu centroide, elevando a distância ao quadrado e somando esses quadrados para cada ponto de dados no cluster. A soma ou o valor inercial é a distância intracluster. Quanto menor a soma, melhor, porque significa que os pontos de dados dentro do cluster são compactos ou mais semelhantes.³

O índice de Dunn

A segunda propriedade é medida com o índice de Dunn. O índice de Dunn representa a relação entre a distância mínima intercluster e a distância máxima intracluster. Clusters com uma alta distância intercluster indicam melhor qualidade porque significa que os clusters são o mais diferentes possível um do outro.⁴

O algoritmo de agrupamento k-means é utilizado em quase todos os domínios e setores. Geralmente é aplicado a dados de aprendizado de máquina que têm poucas dimensões, são numéricos e podem ser facilmente fracionados.

Os pesquisadores integraram o agrupamento k-means a métodos de deep learning, como CNNs e RNNs, para melhorar o desempenho de várias tarefas de aprendizado de máquina, como Computer Vision, NLP e muitos outros domínios. Veja a seguir uma lista de aplicações comuns de agrupamento k-means:

Segmentação de clientes: prática de dividir os clientes de uma empresa em grupos com base em características comuns que refletem semelhança. Essa estratégia possibilita que as empresas direcionem clusters ou grupos específicos de clientes para campanhas publicitárias específicas.

Classificação de documentos: um procedimento para alocar várias classes ou categorias aos documentos. Esse método é utilizado por muitas organizações para moderar o conteúdo. Confira esta documentação do Watson Discover para criar um classificador de documentos.  

Segmentação de imagem: Uma técnica de computer vision que divide uma imagem digital em conjuntos distintos de pixels. Esta pesquisa mergulha em como os modelos k-means são usados para ajudar a identificar limites em imagens médicas.¹⁰

Mecanismos de recomendação: aplicações em toda a web utilizam mecanismos de recomendação. A análise de componentes principais e as técnicas de agrupamento de k-means são usadas para criar recomendações de produtos para empresas de comércio eletrônico.¹¹

Para ter uma experiência prática de aprendizado, consulte o tutorial que explica os fundamentos da execução do armazenamento em cluster k-means no Python usando o IBM Watson Studio no watsonx.ai.

Este tutorial utiliza um módulo da biblioteca scikit-learn (sklearn) que executa o agrupamento k-means. O módulo inclui técnicas de otimização integradas que são manipuladas por seus parâmetros de classe. A classe do módulo tem a seguinte aparência:

class sklearn.cluster.KMeans(n_clusters=8, *, init='k-means++', n_init='auto', max_iter=300, tol=0.0001, verbose=0, random_state=None, copy_x=True, algorithm='lloyd')12

Os parâmetros incluem o número de clusters a serem formados e o número de centroides a serem gerados (n_clusters). Há dois métodos de inicialização disponíveisk-means++andrandom. Também inclui atributos para definir o número máximo de iterações. Cada iteração começa particionando o conjunto de dados no valor do n_clustersparameter.

Estas bibliotecas são usadas para gerar um conjunto de dados de teste e realizar agrupamentos:  

importar pandas como pd 
 importar sklearn
 importar matplotlib.pyplot as plt
 importar Seaborn as sns
 importar numpy

 a partir de sklearn.cluster importar KMeans
 de sklearn.datasets importar make_blobs de sklearn.decomposition importar PCA
 de sklearn.preprocessing importar StandardScaler

Vantagens

Alguns benefícios comuns do agrupamento k-means em aplicativos de aprendizado de máquina incluem:

Simples: o agrupamento K-means é simples de entender e de colocar em prática. É a técnica de aprendizado de máquina não supervisionado mais popular.

Rápido: o agrupamento K-means é projetado com uma abordagem iterativa computacionalmente simples. O algoritmo de agrupamento k-means é mais rápido que o agrupamento hierárquico, que envolve a construção de uma estrutura de agrupamentos em forma de árvore e exige o cálculo da distância em pares entre todos os pontos de dados.

Escalável: o K-means também é facilmente dimensionável para grandes conjuntos de dados e generaliza para clusters de diferentes formas e tamanhos, o que é ideal para a análise de clusters. Como o algoritmo é tão eficiente computacionalmente, ele é mais escalável e adequado para grandes conjuntos de dados em comparação com outros métodos.

Desvantagens 

Alguns desafios comuns associados ao agrupamento k-means são:

Dependência dos parâmetros de entrada: o agrupamento de K-means depende de parâmetros de entrada definidos corretamente. Inicializar o centroide e o número de clusters adequados é impecável para obter resultados de cluster significativos. Uma inicialização incorreta do centroide pode levar a um maior tempo de execução e atribuições de cluster de baixa qualidade. Muitas pesquisas foram feitas para melhorar o procedimento de inicialização do centroide para obter melhores resultados de agrupamento e tempo de convergência mais rápido.

Possível baixo desempenho em determinados conjuntos de dados: o K-means tem um desempenho eficaz quando o conjunto de dados contém clusters de tamanho semelhante e não há valores discrepantes ou variações de densidade notáveis. O K-means tem um desempenho ruim quando o conjunto de dados contém muitas variações ou é altamente dimensional. Dados que não se alinham a certas suposições do conjunto de dados podem fazer com que o k-means produza clusters de baixa qualidade.¹³ Por exemplo, agrupamentos de tamanhos desiguais podem distorcer os centroides em direção aos agrupamentos maiores, levando a viés e classificação incorreta entre os agrupamentos menores. Para resolver esse problema, o k-means pode ser generalizado utilizando modelos probabilísticos como o nó de mistura gaussiano.

Impacto significativo do valor discrepante: os valores discrepantes têm um impacto significativo nos resultados do agrupamento k-means. Os diferentes agrupamentos devem estar distantes, mas não tão distantes a ponto de distorcer os pontos de dados. É importante considerar as suposições de dados antes de aplicar k-means. O K-means é especialmente sensível aos valores discrepantes, uma vez que visa determinar centroides calculando a média de valores com um cluster. Essa sensibilidade torna propenso a sobreajuste incluir esses valores discrepantes.