Apa itu k-means clustering?

Kluster yang berkualitas mengandung setidaknya dua properti: 

1. Semua titik data dalam suatu kluster harus serupa.
   
2. Kluster harus berbeda satu sama lain.

Sifat-sifat ini dicapai dengan meminimalkan jarak intrakluster dan memaksimalkan jarak antarkluster dari semua titik data dalam kumpulan data. Dengan kata lain, makin kompak dan terisolasi sebuah kluster dari kluster lain, makin baik. Tujuan dari algoritma k-means clustering adalah untuk meminimalkan jumlah kesalahan kuadrat (SSE).² Menghitung SSE dari jarak euclidean kuadrat dari setiap titik ke centroid terdekatnya mengevaluasi kualitas dari penempatan kluster dengan mengukur variasi total dalam setiap kluster.

Metrik evaluasi kluster memeriksa kualitas dan memberikan perspektif yang berbeda untuk menganalisis hasil pengelompokan. Ini membantu dalam memilih jumlah kluster yang optimal dan inisialisasi centroid. Metrik evaluasi berikut adalah cara umum untuk mengukur jarak intrakluster dan interkluster dalam pengelompokan.

Inersia

Algoritma k-means clustering bertujuan untuk memilih centroid, atau pusat kluster, yang meminimalkan inersia, sebuah metrik evaluasi yang mengukur seberapa baik sebuah kumpulan data dikelompokkan berdasarkan metrik jarak. Inersia dihitung dengan mengukur jarak antara titik data dan pusatnya, mengkuadratkan jarak tersebut dan menjumlahkan kuadrat tersebut untuk setiap titik data dalam kluster. Jumlah atau nilai inersia adalah jarak intrakluster. Makin rendah jumlahnya makin baik karena ini berarti titik data dalam kluster tersebut kompak atau lebih mirip.³

Indeks Dunn

Properti kedua diukur dengan indeks Dunn. Indeks Dunn merepresentasikan hubungan antara jarak antar kluster minimum dan jarak intrakluster maksimum. Kluster dengan jarak intrakluster yang tinggi mengindikasikan kualitas yang lebih baik karena ini berarti kluster-kluster tersebut sebisa mungkin berbeda satu sama lain.⁴

Algoritma k-means clustering digunakan di hampir setiap domain dan industri. Ini biasanya diterapkan pada data machine learning yang memiliki sedikit dimensi, bersifat numerik, dan dapat dengan mudah dibagi.

Para peneliti telah mengintegrasikan k-means clustering dengan metode pembelajaran mendalam seperti CNN dan RNN untuk meningkatkan kinerja berbagai tugas machine learning seperti visi komputer, NLP, dan banyak domain lainnya. Berikut adalah daftar aplikasi k-means clustering yang umum:

Segmentasi pelanggan: Praktik membagi pelanggan perusahaan ke dalam kelompok-kelompok berdasarkan karakteristik umum yang mencerminkan kesamaan. Strategi ini memungkinkan perusahaan untuk menargetkan kluster atau kelompok pelanggan tertentu untuk kampanye iklan tertentu.

Klasifikasi dokumen: Prosedur untuk mengalokasikan berbagai kelas atau categories ke dokumen. Metode ini digunakan oleh banyak organisasi untuk memoderasi konten. Lihat dokumentasi Watson Discover ini untuk membuat pengklasifikasi dokumen.  

Segmentasi gambar: Teknik visi komputer yang membagi gambar digital menjadi kumpulan piksel yang berbeda. Penelitian ini menyelami bagaimana model k-means digunakan untuk membantu mengidentifikasi batas dalam citra medis.¹⁰

Mesin rekomendasi: Aplikasi di seluruh web menggunakan mesin rekomendasi. Analisis komponen utama dan teknik k-means clustering digunakan untuk membangun rekomendasi produk untuk bisnis e-commerce.¹¹

Untuk pengalaman belajar langsung, lihat tutorial yang menjelaskan dasar-dasar melakukan k-means clustering di Python dengan menggunakan IBM Watson Studio di watsonx.ai.

Tutorial ini menggunakan modul dari pustaka scikit-learn (sklearn) yang melakukan k-means clustering. Modul ini mencakup teknik pengoptimalan bawaan yang dimanipulasi oleh parameter kelasnya. Kelas untuk modul terlihat seperti ini:

class sklearn.cluster.KMeans(n_clusters=8, *, init='k-means++', n_init='auto', max_iter=300, tol=0.0001, verbose=0, random_state=None, copy_x=True, algorithm='lloyd')12

Parameter termasuk jumlah kluster yang akan dibentuk dan jumlah centroid yang akan dihasilkan (n_cluster). Ada dua metode inisialisasi yang tersedia k-means++ dan random. Ini juga mencakup atribut untuk mengatur jumlah maksimum iterasi. Setiap iterasi dimulai dengan mempartisi kumpulan data menjadi nilai n_clustersparameter.

Pustaka ini digunakan untuk menghasilkan kumpulan data uji dan melakukan pengelompokan:  

import pandas as pd 
import sklearn
import matplotlib.pyplot as plt
import seaborn as sns
import numpy

from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

Keuntungan

Beberapa manfaat umum k-means clustering dalam aplikasi machine learning meliputi:

Sederhana: K-means clustering mudah dipahami dan dipraktikkan. Ini adalah teknik machine learning tanpa pengawasan yang paling populer.

Cepat: K-means clustering dirancang dengan pendekatan iteratif yang sederhana secara komputasi. Algoritma k-means clustering lebih cepat daripada pengelompokan hierarkis yang melibatkan pembangunan struktur kluster seperti pohon dan membutuhkan penghitungan jarak berpasangan antara semua titik data.

Dapat diskalakan: K-means juga mudah diskalakan ke kumpulan data besar dan menggeneralisasi ke kluster dengan berbagai bentuk dan ukuran, yang ideal untuk analisis kluster. Karena algoritma ini sangat efisien secara komputasi, algoritma ini lebih dapat diskalakan dan cocok untuk kumpulan data yang besar dibandingkan dengan metode lainnya.

Kekurangan 

Beberapa tantangan umum yang terkait dengan k-means clustering meliputi:

Ketergantungan pada parameter input: K-means clustering bergantung pada parameter input yang diatur dengan benar. Menginisialisasi centroid dan jumlah kluster yang tepat sangat cocok untuk mendapatkan hasil kluster yang bermakna. Inisialisasi centroid yang buruk dapat menyebabkan peningkatan waktu berjalan dan penugasan kluster berkualitas rendah. Banyak penelitian telah dilakukan untuk meningkatkan prosedur inisialisasi centroid untuk hasil pengelompokan yang lebih baik dan waktu konvergensi yang lebih cepat.

Kemungkinan kinerja yang kurang baik pada kumpulan data tertentu: K-means bekerja secara efektif ketika kumpulan data berisi kluster yang ukurannya serupa dan tidak ada outlier atau variasi kepadatan yang menonjol. K-means berkinerja buruk ketika kumpulan data mengandung banyak variasi atau memiliki banyak dimensi. Data yang tidak sesuai dengan asumsi kumpulan data tertentu dapat menyebabkan k-means menghasilkan kluster berkualitas rendah.¹³ Sebagai contoh, kluster yang berukuran tidak merata dapat membuat centroid condong ke arah kluster yang lebih besar sehingga menyebabkan bias dan kesalahan klasifikasi di antara kluster yang lebih kecil. Untuk mengatasi masalah ini, k-mean dapat digeneralisasi menggunakan model probabilistik seperti Gaussian Mixture node.

Dampak outlier yang signifikan: Outlier memiliki dampak yang signifikan pada hasil k-means clustering. Kluster yang berbeda harus berjauhan, tetapi tidak terlalu jauh untuk membelokkan titik data. Penting untuk mempertimbangkan asumsi data sebelum menerapkan k-means. K-means sangat sensitif terhadap outlier karena bertujuan untuk menentukan centroid dengan rata-rata nilai dengan kluster. Sensitivitas ini membuatnya rentan terhadap overfitting untuk menyertakan outlier ini.