Apa itu model klasifikasi?

Model klasifikasi adalah jenis model machine learning yang membagi titik data ke dalam kelompok yang telah ditentukan sebelumnya yang disebut kelas. Pengklasifikasi adalah jenis pemodelan prediktif yang mempelajari karakteristik kelas dari data masukan dan belajar menetapkan kelas yang memungkinkan ke data baru sesuai dengan karakteristik yang dipelajari tersebut.¹ Algoritma klasifikasi banyak digunakan dalam ilmu data untuk memperkirakan pola dan memprediksi hasil. Memang, algoritma ini memiliki serangkaian contoh penggunaan di dunia nyata, seperti klasifikasi pasien berdasarkan potensi risiko kesehatan dan penyaringan email.

Tugas klasifikasi dapat berupa klasifikasi biner atau multikelas. Dalam masalah klasifikasi biner, sebuah model memprediksi antara dua kelas. Sebagai contoh, filter spam mengklasifikasikan email sebagai spam atau bukan spam. Masalah klasifikasi multikelas mengklasifikasikan data di antara lebih dari dua label kelas. Sebagai contoh, pengklasifikasi gambar dapat mengklasifikasikan gambar hewan peliharaan dengan menggunakan banyak sekali label kelas, seperti anjing, kucing, llama, platipus, dan lainnya.

Beberapa sumber, terutama online, menyebut klasifikasi sebagai bentuk machine learning yang diawasi. Tetapi pengklasifikasi tidak secara eksklusif termasuk dalam domain pembelajaran yang diawasi. Pendekatan pembelajaran tanpa pengawasan untuk masalah klasifikasi telah menjadi fokus utama penelitian terbaru.

Tentu saja, setiap algoritma klasifikasi machine learning berbeda dalam operasi internalnya. Namun demikian semua mematuhi proses klasifikasi data dua langkah umum:

Pembelajaran. Dalam pembelajaran terbimbing, seorang anotator manusia menetapkan label pada setiap titik data dalam kumpulan data pelatihan. Titik-titik ini didefinisikan sebagai sejumlah variabel input (atau variabel independen), yang bisa berupa numerik, string teks, fitur gambar, dan sebagainya. Dalam istilah matematika, model menganggap setiap titik data sebagai tuple x. Tuple hanyalah urutan numerik terurut yang direpresentasikan sebagai x = (x₁,x₂,x₃…x_n). Setiap nilai dalam tuple adalah fitur tertentu dari titik data. Model menggunakan fitur setiap titik data beserta label kelasnya untuk menguraikan fitur apa yang mendefinisikan setiap kelas. Dengan memetakan data pelatihan per persamaan ini, model mempelajari fitur-fitur (atau variabel) umum yang terkait dengan setiap label kelas.

Klasifikasi. Langkah kedua dalam tugas klasifikasi adalah klasifikasi itu sendiri. Dalam fase ini, pengguna menerapkan model pada kumpulan data uji yang tidak terlihat. Data yang sebelumnya tidak digunakan sangat ideal untuk mengevaluasi klasifikasi model guna menghindari overfitting. Model menggunakan fungsi prediksi yang dipelajari y=f(x) untuk mengklasifikasikan data yang tidak terlihat di seluruh kelas yang berbeda menurut fitur masing-masing sampel. Pengguna kemudian mengevaluasi akurasi model menurut jumlah sampel data uji yang diprediksi dengan benar.²

Model klasifikasi hasil dua jenis prediksi: diskrit dan kontinu.

Diskrit. Prediksi diskrit adalah label kelas yang diprediksi untuk setiap titik data. Misalnya, kita dapat menggunakan prediktor untuk mengklasifikasikan pasien medis sebagai diabetes atau nondiabetes berdasarkan data kesehatan. Kelas diabetes dan nondiabetes adalah prediksi kategoris diskrit.

Berkelanjutan. Pengklasifikasi menetapkan prediksi kelas sebagai probabilitas kontinu yang disebut skor kepercayaan. Probabilitas ini adalah nilai antara 0 dan 1, mewakili persentase. Model kami dapat mengklasifikasikan pasien sebagai penderita diabetes dengan nilai 0,82 probabilitas. Ini berarti bahwa model tersebut meyakini bahwa pasien memiliki kemungkinan 82% untuk menderita diabetes dan 18% untuk tidak menderita diabetes.

Para peneliti biasanya mengevaluasi model dengan menggunakan prediksi diskrit sambil menggunakan prediksi kontinu sebagai ambang batas. Pengklasifikasi mengabaikan prediksi apa pun di bawah ambang batas tertentu. Misalnya, jika prediktor diabetes kita memiliki ambang batas 0,4 (40%) dan mengklasifikasikan pasien sebagai penderita diabetes dengan probabilitas 0,35 (35%), maka model akan mengabaikan label itu dan tidak menetapkan pasien ke kelas diabetes.³

Peneliti dan pengembang menggunakan beragam metrik evaluasi untuk model klasifikasi. Metrik evaluasi yang dipilih tergantung pada tugas klasifikasi tertentu. Semua mengukur akurasi yang dengannya pelajar (yaitu, pengklasifikasi) secara akurat memprediksi kelas model.

Metrik klasifikasi menggunakan terminologi umum. Positif sejati (TP) adalah sampel data yang diprediksi model dengan benar di kelasnya masing-masing. Positif palsu (FP) adalah contoh kelas negatif yang salah diidentifikasi sebagai kasus positif. Negatif palsu (FN) adalah contoh positif aktual yang secara keliru diprediksi sebagai negatif. Negatif sejati (TN) adalah contoh kelas negatif aktual yang diklasifikasikan model secara akurat sebagai negatif.

Presisi. Ini disebut nilai prediksi positif (PPV). Ini adalah proporsi prediksi kelas positif yang benar-benar termasuk dalam kelas yang dimaksud. Misalnya, dalam filter spam, presisi adalah proporsi pesan yang diklasifikasikan model sebagai spam, padahal sebenarnya adalah spam. Hal ini direpresentasikan dengan persamaan:⁴

Recall. Juga sensitivitas atau true positive rate (TPR), recall menunjukkan persentase instance kelas yang terdeteksi oleh model. Kembali ke filter spam, recall menunjukkan berapa banyak pesan spam aktual yang sebenarnya diklasifikasikan oleh model sebagai spam. Ini diwakili oleh persamaan:⁵

Skor F1. Presisi dan recall dapat memiliki hubungan yang terbalik; ketika pengklasifikasi mengembalikan lebih banyak positif sejati (peningkatan recall), pengklasifikasi pasti salah mengklasifikasikan non-instance (yaitu, positif palsu) juga, sehingga mengurangi presisi. Skor F1 bertujuan untuk menyelesaikan pertukaran ini. F1 (atau F-score) secara efektif menggabungkan presisi dan ingatan untuk mewakili akurasi kelas total model. Hal ini diwakili oleh persamaan:⁶

Alat visualisasi data membantu mengilustrasikan temuan dalam analisis data. Ilmuwan data dan peneliti machine learning menggunakan dua alat utama untuk memvisualisasikan kinerja pengklasifikasi:

Matriks kebingungan. Matriks kebingungan adalah tabel yang kolomnya mewakili nilai prediksi dari kelas tertentu sementara baris mewakili nilai aktual, atau sebaliknya. Kotak kiri atas menandakan jumlah positif sejati; kotak di bawahnya adalah positif palsu; kotak kanan atas adalah jumlah negatif palsu; kotak kanan bawah adalah jumlah negatif sejati. Menjumlahkan masing-masing nilai ini memberikan jumlah total prediksi model.⁷ Matriks kebingungan untuk pengklasifikasi biner mungkin terlihat seperti:

Kurva ROC. Kurva karakteristik pengoperasian penerima (ROC) memvisualisasikan proporsi positif sejati terhadap negatif sejati. Bagan memplot tingkat positif sejati terhadap tingkat negatif sejati untuk setiap ambang batas yang digunakan dalam klasifikasi model. Statistik area di bawah kurva (AUC) muncul dari kurva ROC. AUC mengukur seberapa besar kemungkinan positif yang dipilih secara acak memiliki skor kepercayaan yang lebih tinggi daripada negatif acak. Nilai AUC berkisar dari 0 hingga 1. Angka 0 menandakan bahwa model tersebut menilai semua hal negatif dengan probabilitas yang lebih tinggi daripada hal positif, sedangkan angka 1 berarti model tersebut menilai setiap hal positif dengan probabilitas yang lebih tinggi.⁸

Ada banyak jenis algoritma klasifikasi yang berbeda. Meskipun mereka memiliki contoh penggunaan yang tumpang tindih, beberapa lebih cocok untuk aplikasi tertentu daripada yang lain. Berikut adalah ikhtisar tiga algoritma machine learning populer untuk klasifikasi. Ketiganya dapat dengan mudah diimplementasikan dalam Python dengan menggunakan berbagai pustaka scikit-learn.

Sumber daring sering kali menyandingkan tugas klasifikasi dan regresi machine learning. Namun ini adalah penyederhanaan yang berlebihan. Regresi logistik adalah pengklasifikasi probabilitas yang berasal dari model regresi linear. Regresi linier menggunakan satu atau lebih variabel independen untuk memprediksi nilai variabel independen, yang nilainya dapat berupa bilangan kontinu apa pun. Regresi logistik adalah modifikasi terhadap regresi linier, di mana hasil (atau variabel bebas) dibatasi pada nilai apa pun antara 0 dan 1. Hal ini dilakukan dengan menerapkan transformasi logit—atau log odds—ke rumus regresi linier standar:⁹

Model regresi logistik berguna untuk klasifikasi biner masalah regresi multivariat. Aplikasi umum adalah deteksi penipuan dan prediksi biomedis. Misalnya, regresi logistik telah diterapkan untuk membantu memprediksi kematian pasien yang disebabkan oleh trauma dan penyakit jantung koroner.¹⁰

Pengklasifikasi Naïve Bayes (juga ditulis Naive Bayes) adalah jenis pengklasifikasi populer berdasarkan teorema Bayes. Salah satu perbedaan utamanya dari pengklasifikasi lain adalah bahwa ia menghitung probabilitas posterior untuk prediksi kelas. Ini berarti bahwa Naïve Bayes memperbarui prediksi kelas awal (disebut probabilitas sebelumnya) dengan setiap bagian data baru. Misalnya, katakanlah kami mencoba untuk mengklasifikasikan kemungkinan pasien terkena diabetes. Data medis pasien ini - seperti tekanan darah, usia, kadar gula darah, dan lainnya - berfungsi sebagai variabel independen. Untuk memprediksi, pengklasifikasi Bayesian menghitung prevalensi diabetes yang diyakini saat ini di seluruh populasi (probabilitas sebelumnya) dengan probabilitas nilai data medis pasien yang muncul pada seseorang yang menderita diabetes (probabilitas bersyarat). Pengklasifikasi Naïve Bayes mengikuti persamaan Aturan Bayes:¹¹

Naïve Bayes dikenal sebagai pengklasifikasi generatif. Ini berarti bahwa pengklasifikasi Bayesian, dengan menggunakan nilai variabel pengamatan tertentu, menghitung kelas mana yang paling mungkin menghasilkan pengamatan tersebut. Peneliti pemrosesan bahasa alami (NLP) telah banyak menerapkan Naïve Bayes untuk tugas klasifikasi teks, seperti analisis sentimen. Dengan menggunakan model bag of words, di mana setiap kata merupakan variabel, pengklasifikasi Naïve Bayes untuk analisis sentimen memprediksi apakah kelas positif atau negatif menghasilkan teks yang dimaksud.¹²

K-tetangga terdekat (KNN) memetakan titik data ke ruang multidimensi. Kemudian mengelompokkan titik-titik data dengan nilai fitur serupa ke dalam kelompok terpisah, atau kelas. Untuk mengklasifikasikan sampel data baru, pengklasifikasi cukup melihat sejumlah titik k yang paling dekat dengan input uji sampel data baru yang diberikan x, menghitung berapa banyak anggota setiap kelas yang menyusun subset tetangga, dan mengembalikan proporsi tersebut sebagai estimasi kelas untuk titik data baru. Dengan kata lain, model tersebut menetapkan titik data baru ke kelas mana pun yang mencakup mayoritas tetangga titik tersebut. Model KNN biasanya membandingkan jarak antara titik data dengan jarak Euclidean:¹³

Perkiraan tetangga terdekat (ANN) adalah varian dari KNN. Dalam ruang data berdimensi tinggi, akan sangat mahal secara komputasi untuk menemukan tetangga yang tepat dari suatu titik data.Pengurangan dimensi adalah salah satu cara penyelesaian untuk ini. ANN adalah hal lain. Daripada menemukan tetangga terdekat dari titik data yang diberikan, ANN menemukan perkiraan tetangga terdekat dalam jarak tertentu. Penelitian terbaru menunjukkan hasil yang menjanjikan untuk ANN dalam konteks klasifikasi multilabel.¹⁴

Perhatikan bahwa banyak dari teknik ini dapat dipengaruhi secara negatif oleh outlier. Untungnya, sejumlah teknik regularisasi dapat membantu menjelaskan faktor dampak negatif tersebut. Ada juga banyak algoritma lain untuk klasifikasi dalam machine learning. Beberapa algoritma tambahan adalah decision trees, hutan acak, peningkatan gradien, dan mesin vektor pendukung (SVM).