Apa itu pengurangan dimensi?

Pengurangan dimensionalitas adalah metode untuk merepresentasikan kumpulan data tertentu menggunakan jumlah fitur yang lebih sedikit (yaitu, dimensi) namun tetap menangkap properti data asli yang bermakna.¹ Hal ini berarti menghapus fitur yang tidak relevan atau berlebihan, atau hanya data yang berisik, untuk membuat model dengan jumlah variabel yang lebih sedikit. Pengurangan dimensi mencakup serangkaian pemilihan fitur dan metode kompresi data yang digunakan selama prapemrosesan. Meskipun metode reduksi dimensi berbeda dalam pengoperasiannya, namun semuanya mengubah ruang dimensi tinggi menjadi ruang dimensi rendah melalui ekstraksi atau kombinasi variabel.

Dalam machine learning, dimensi (atau fitur) adalah variabel prediktor yang menentukan hasil model. Mereka juga dapat disebut variabel input. Data dimensi tinggi menunjukkan kumpulan data apa pun dengan sejumlah besar variabel prediktor. Kumpulan data seperti itu sering muncul dalam biostatistik, serta studi observasi ilmu sosial, di mana jumlah titik data (yaitu, observasi) lebih banyak daripada jumlah variabel prediktor.

Kumpulan data dimensi tinggi menimbulkan sejumlah masalah praktis untuk algoritma machine learning, seperti peningkatan waktu komputasi, penyimpanan untuk big data, dan sebagainya. Tetapi kekhawatiran terbesar mungkin adalah penurunan akurasi dalam model prediktif. Model statistik dan machine learning yang dilatih pada kumpulan data dimensi tinggi sering menggeneralisasi dengan buruk.

Kutukan dimensi mengacu pada hubungan terbalik antara peningkatan dimensi model dan penurunan generalisasi. Ketika jumlah variabel input model meningkat, ruang model meningkat. Namun, jika jumlah titik data tetap sama, data menjadi jarang. Ini berarti sebagian besar ruang fitur model kosong, yaitu, tanpa titik data yang dapat diamati. Seiring dengan meningkatnya sparsitas data, titik-titik data menjadi sangat berbeda sehingga model prediktif menjadi kurang efektif dalam mengidentifikasi pola-pola penjelasan.²

Untuk menjelaskan pola dalam data yang jarang secara memadai, model mungkin overfit pada data pelatihan. Dengan cara ini, peningkatan dimensi dapat menyebabkan generalisasi yang buruk. Dimensi tinggi selanjutnya dapat menghambat interpretabilitas model dengan menginduksi multikollinearitas. Ketika jumlah variabel model meningkat, demikian juga kemungkinan bahwa beberapa variabel berlebihan atau berkorelasi.

Mengumpulkan lebih banyak data dapat mengurangi sparsitas data dan dengan demikian mengimbangi kutukan dimensi. Namun, seiring dengan bertambahnya jumlah dimensi dalam model, jumlah titik data yang diperlukan untuk mengurangi kutukan dimensi meningkat secara eksponensial.³ Mengumpulkan data yang cukup, tentu saja, tidak selalu layak. Dengan demikian, perlunya pengurangan dimensi untuk meningkatkan analisis data.

Teknik reduksi dimensi umumnya mereduksi model ke ruang dimensi yang lebih rendah dengan mengekstraksi atau menggabungkan fitur-fitur model. Di luar kesamaan dasar ini, bagaimanapun, algoritma pengurangan dimensi bervariasi.

Analisis komponen utama (PCA) mungkin merupakan metode pengurangan dimensionalitas yang paling umum. Ini adalah bentuk ekstraksi fitur, yang berarti menggabungkan dan mengubah fitur asli kumpulan data untuk menghasilkan fitur baru, yang disebut komponen utama. Pada dasarnya, PCA memilih subset variabel dari suatu model yang bersama-sama mencakup mayoritas atau semua varians yang ada dalam set variabel asli. PCA kemudian memproyeksikan data ke ruang baru yang ditentukan oleh subset variabel ini.⁴

Misalnya, bayangkan kita memiliki kumpulan data tentang ular dengan lima variabel: panjang tubuh (X₁), diameter tubuh pada titik terlebar (X₂) panjang taring (X₃), berat (X₄), dan usia (X₅). Tentu saja, beberapa dari lima fitur ini dapat berkorelasi, seperti panjang tubuh, diameter, dan berat. Redundansi dalam fitur ini dapat menyebabkan data yang jarang dan overfitting, mengurangi varians (atau generalisasi) model yang dihasilkan dari data tersebut. PCA menghitung variabel baru (PC₁) dari data ini yang menggabungkan dua atau lebih variabel dan memaksimalkan varians data. Dengan menggabungkan variabel yang berpotensi redundan, PCA juga membuat model dengan variabel yang lebih sedikit daripada model awal. Jadi, karena kumpulan data kita dimulai dengan lima variabel (yaitu, lima dimensi), model yang direduksi dapat memiliki satu hingga empat variabel (yaitu, satu hingga empat dimensi). Data tersebut kemudian dipetakan ke model baru ini.⁵

Variabel baru ini bukanlah salah satu dari lima variabel asli, melainkan fitur gabungan yang dihitung melalui transformasi linear dari matriks kovarian data asli. Secara khusus, komponen utama gabungan kami adalah eigenvector yang sesuai dengan eigenvalue terbesar dalam matriks kovarian. Kita juga dapat membuat komponen utama tambahan yang menggabungkan variabel lain. Komponen utama kedua adalah eigenvector dari eigenvalue terbesar kedua, dan seterusnya.⁶

Analisis diskriminan linier (LDA) mirip dengan PCA karena memproyeksikan data ke ruang dimensi baru yang lebih rendah, dimensi yang diturunkan dari model awal. LDA berbeda dari PCA dalam kepeduliannya untuk mempertahankan label klasifikasi dalam kumpulan data. Sementara PCA menghasilkan variabel komponen baru yang dimaksudkan untuk memaksimalkan varians data, LDA menghasilkan variabel komponen yang juga memaksimalkan perbedaan kelas dalam data.⁷

Langkah-langkah untuk menerapkan LDA serupa dengan langkah-langkah untuk PCA. Pengecualian utama adalah bahwa yang pertama menggunakan matriks pencar sedangkan yang terakhir menggunakan matriks kovarian. Jika tidak, seperti halnya di PCA, LDA komputer kombinasi linier dari fitur asli data yang sesuai dengan nilai eigen terbesar dari matriks pencar. Salah satu tujuan LDA adalah untuk memaksimalkan perbedaan antar kelas sekaligus meminimalkan perbedaan antar kelas.⁸

LDA dan PCA adalah jenis algoritma reduksi dimensi linier. Akan tetapi, penyematan tetangga stokastik terdistribusi-t (t-SNE) adalah bentuk pengurangan dimensi non-linear (atau, pembelajaran manifold). Dengan tujuan utama untuk mempertahankan varian model, LDA dan PCA berfokus pada mempertahankan jarak antara titik data yang berbeda dalam representasi dimensi yang lebih rendah. Sebaliknya, t-SNE bertujuan untuk melestarikan struktur data lokal dengan mengurangi dimensi model. t-SNE lebih jauh berbeda dari LDA dan PCA karena dua yang terakhir ini dapat menghasilkan model dengan lebih dari tiga dimensi, selama model yang dihasilkan memiliki dimensi yang lebih sedikit daripada data asli. Namun, t-SNE memvisualisasikan semua kumpulan data dalam tiga atau dua dimensi.

Sebagai metode transformasi non-linier, t-SNE meninggalkan matriks data. Sebagai gantinya, t-SNE menggunakan kernel Gaussian untuk menghitung kesamaan titik data berpasangan. Titik-titik yang berdekatan satu sama lain dalam kumpulan data asli memiliki probabilitas yang lebih tinggi untuk berdekatan satu sama lain daripada yang lebih jauh. t-SNE kemudian memetakan semua titik data ke dalam ruang tiga atau dua dimensi sambil berusaha mempertahankan pasangan data.⁹

Ada sejumlah metode pengurangan dimensi tambahan, seperti kernel PCA, analisis faktor, hutan acak, dan dekomposisi nilai tunggal (SVD). PCA, LDA, dan t-SNE adalah yang paling banyak digunakan dan dibahas. Perhatikan bahwa beberapa paket dan pustaka, seperti scikit-learn, telah dimuat sebelumnya dengan fungsi-fungsi untuk mengimplementasikan teknik-teknik ini.

Pengurangan dimensi sering digunakan untuk tujuan visualisasi data.