高品質のクラスターには少なくとも2つの特性があります。

1. クラスター内のすべてのデータポイントが類似していること。
   
2. クラスターが互いに明確であること。

これらの特性は、クラスター内の距離を最小化し、データ・セット内のすべてのデータ・ポイントのクラスター間の距離を最大化することで実現されます。言い換えれば、クラスターがよりコンパクトで他のクラスターから分離されているほど、より良いクラスターということです。k平均法アルゴリズムの目標は、残差平方和（SSE）を最小化することです。² 各点から最も近いセントロイドまでのユークリッド距離の二乗のSSEを計算するおとで、各クラスター内の全変動を測定し、クラスター割り当ての品質を評価します。

クラスター評価指標は品質をチェックすると共に、クラスタリングの結果を分析するためのさまざまな視点を提供します。最適なクラスター数の選択とセントロイドの初期化を行う際に有用です。以下の評価指標は、クラスタリングにおけるクラスター内距離とクラスター間距離を測定する一般的な方法です。

イナーシャ

k平均法アルゴリズムは、イナーシャを最小化するセントロイド（クラスターの中心）を選択することを目的としています。イナーシャとは、距離指標に基づいてデータ・セットがどの程度うまくクラスタ化されたかを測定する評価指標です。イナーシャは、データ・ポイントとそのセントロイドとの距離を測定し、距離を2乗し、クラスター内の各データ・ポイントについてその2乗を合計することで計算されます。その和またはイナーシャ値がクラスター内距離です。合計が低いほどクラスター内のデータ・ポイントがコンパクトであるか、より類似していることを意味するため、より良いクラスターとなります。³

ダンインデックス

2 番目のプロパティはダンインデックスを使用して測定されます。ダンインデックスは、最小クラスター間距離と最大クラスター内距離の関係を表します。クラスター間距離が長いクラスターは、品質がより良いことを示します。クラスター同士が可能な限り異なっていることを意味するためです。⁴

k平均法アルゴリズムは、ほぼすべての領域や業界で使用されています。通常、次元が少なく、数値的で、簡単に分割できる機械学習データに使用されます。

研究者は、k平均法をCNNやRNNなどのディープラーニング手法と統合し、コンピューター・ビジョンやNLPのほか、多くのドメインのさまざまな機械学習タスクの性能を向上させています。よくあるk平均法の活用例は次のとおりです。

顧客セグメンテーション： 企業の顧客を、共通の特徴に基づいて類似性を反映したグループに分割する手法。この戦略により、企業は特定のクラスターまたは顧客グループをターゲットとして、個別の広告キャンペーンが展開できるようになります。

ドキュメントの分類： ドキュメントにさまざまなカテゴリーや分類を割り当てる手順この方法は、多くの組織でコンテンツの管理に使用されています。ドキュメント分類器を構築するには、このWatson Discoverドキュメントを確認してください。

画像セグメンテーション：デジタル画像を個別の画素群に分割するコンピュータービジョン技法。この研究では、k平均法モデルを使用して医療画像における境界を判別する方法について詳しく説明します。¹⁰

レコメンデーション・エンジン： ウェブ上のあらゆるアプリケーションでレコメンデーション・エンジンが使用されています。主成分分析とk平均法は、eコマースビジネスを対象とした商品おすすめ機能の構築に使用されます。¹¹

ハンズオンで学習されたい場合は、watsonx.aiのIBM Watson Studioを使用してPythonでk平均法を実行するための基礎を説明しているチュートリアルをご覧ください。

このチュートリアルでは、k平均法を実行するscikit-learn（sklearn）ライブラリーのモジュールを使用します。このモジュールには、クラス・パラメーターで調整を行う組み込み最適化手法が含まれています。モジュールのクラスは次のようになります。

class sklearn.cluster.KMeans(n_clusters=8, *, init='k-means++', n_init='auto', max_iter=300, tol=0.0001, verbose=0, random_state=None, copy_x=True, algorithm='lloyd')12

パラメーターには、形成するクラスタの数と生成するセントロイドの数（n_clusters）が含まれます。初期化の方法はk-means++とrandom選択の2つが用意されています。また、最大反復回数を設定する属性も含まれています。各反復は、データ・セットをn_clustersparameterの値に分割することから始まります。

これらのライブラリーは、テスト・データ・セットを生成し、クラスタリングを実行するために使用されます。

import pandas as pd 
import sklearn
import matplotlib.pyplot as plt
import seaborn as sns
import numpy

from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

メリット

機械学習にk平均法を活用する一般的なメリットとして、次のようなものがあります。

シンプル：k平均法はわかりやすく、実践も簡単です。k平均法は最も一般的な教師なし機械学習の手法です。

速い：k平均法は、計算的に単純な反復アプローチで設計されています。k平均法アルゴリズムは、クラスターの樹形図を構築し、すべてのデータ・ポイント間のペアワイズ距離を計算する必要がある階層クラスタリングよりも高速です。

スケーラブル：K-meansは大規模なデータ・セットにも容易に拡張でき、さまざまな形や大きさのクラスタに一般化されるため、クラスタ分析に理想的である。このアルゴリズムは計算効率が非常に高いため、他の方法と比較してスケーラブルで、大規模なデータ・セットに適しています。

デメリット

k平均法クラスタリングに関連する一般的な課題には、次のようなものがあります。

入力パラメータへの依存K-平均クラスタリングは適切に設定された入力パラメータに依存する。適切なセントロイドとクラスタ数を初期化することは、意味のあるクラスタ結果を得るために非の打ちどころがない。セントロイドの初期化がうまくいかないと、実行時間が長くなったり、クラスターの割り当てが低品質になったりする可能性がある。より良いクラスタリング結果と収束時間の短縮のために、重心初期化手順の改良に多くの研究がなされてきた。

データ・セットによっては性能不足の可能性：K-meansは、データ・セットに同程度の大きさのクラスタが含まれ、顕著な外れ値や密度のばらつきがない場合に効果的に機能する。K平均法は、データ・セットに多くのバリエーションが含まれている場合や高次元である場合にパフォーマンスが低下します。特定のデータ・セットの仮定と一致しないデータにより、k-means によって低品質のクラスターが生成される可能性があります。^13名 例えば、サイズが不均衡なクラスターは、重心が大きなクラスターに向かって歪め、小さなクラスター間で偏りや誤分類が生じる可能性があります。この問題を解決するには、ガウス混合ノードなどの確率モデルを使用して k-means を一般化できます。

外れ値の影響が大きい： 外れ値はk-meansクラスタリングの結果に大きな影響を与える。異なるクラスターは大きく離れている必要がありますが、データ・ポイントが歪むほど離れていてはなりません。K平均法を適用する前に、データの仮定を考慮することが重要です。K平均法は、クラスターで値を平均化することで重心を決定することを目的としているため、外れ値に特に影響を受けやすくなります。この影響を受けやすいため、過剰に適合し、外れ値を含める傾向があります。