Ekstraksi fitur adalah teknik yang mengurangi dimensi atau kompleksitas data untuk meningkatkan kinerja dan efisiensi algoritma machine learning (ML). Proses ini memfasilitasi tugas ML dan meningkatkan analisis data dengan menyederhanakan kumpulan data untuk menyertakan hanya variabel atau atribut yang signifikan.
Kinerja model kecerdasan buatan (AI) bergantung pada kualitas data pelatihannya. Model machine learning melalui prapemrosesan untuk membantu memastikan bahwa data berada dalam format yang sesuai untuk pelatihan model yang efisien dan kinerja.= Ekstraksi fitur adalah bagian penting dari alur kerja prapemrosesan.
Selama proses ekstraksi, data tidak terstruktur dikonversi menjadi format yang lebih terstruktur dan dapat digunakan untuk meningkatkan kualitas data dan kemampuan interpretasi model. Ekstraksi fitur adalah bagian dari rekayasa fitur, proses yang lebih luas untuk membuat, memodifikasi, dan memilih fitur dalam data mentah untuk mengoptimalkan kinerja model.
Sejak penelitian awal dalam pengenalan pola, metode dan teknik baru telah dipelajari untuk menggunakan metode heuristik untuk mengekstrak fitur yang paling relevan dari kumpulan data menggunakan AI.1 Seiring dengan kemajuan penelitian, autoencoder secara tradisional digunakan untuk mengurangi dimensi pembelajaran fitur.2
Data sulit untuk digunakan ketika jumlah fitur atau kovariatnya melebihi jumlah titik data independen. Jenis data ini dianggap sebagai data dimensi tinggi.3 Ekstraksi fitur dapat dianggap sebagai teknik pengurangan dimensi .4
Ini sangat penting saat bekerja dengan kumpulan data besar atau kumpulan data dari berbagai modalitas. Semakin banyak fitur yang diekstraksi, semakin tidak mahir dan berkinerja baik model tersebut.5 Tugas-tugas umum yang mengandalkan ekstraksi fitur yang efisien termasuk pemrosesan gambar, pemrosesan bahasa alami (NLP), dan pemrosesan sinyal.
Buletin industri
Dapatkan kurasi insight tentang berita AI yang paling penting dan menarik. Berlangganan buletin Think mingguan. Lihat Pernyataan Privasi IBM.
Langganan Anda akan dikirimkan dalam bahasa Inggris. Anda akan menemukan tautan berhenti berlangganan di setiap buletin. Anda dapat mengelola langganan atau berhenti berlangganan di sini. Lihat Pernyataan Privasi IBM kami untuk informasi lebih lanjut.
Pengurangan dimensi adalah teknik ilmu data yang digunakan dalam langkah prapemrosesan dalam machine learning6 Selama proses ini, data yang tidak relevan dan berlebihan akan dihapus, namun tetap mempertahankan informasi yang relevan dari kumpulan data asli.
Fitur dapat dianggap sebagai atribut dari objek data. Misalnya, dalam kumpulan data hewan, Anda akan mengharapkan beberapa fitur numerik (usia, tinggi, berat) dan fitur kategoris (warna, spesies, jenis). Ekstraksi fitur adalah bagian dari arsitektur neural network model, seperti convolutional neural network (CNN).
Pertama, model mengambil data input, kemudian ekstraktor fitur mengubah data menjadi representasi numerik yang dapat digunakan untuk menghitung metode pengurangan dimensi untuk ekstraksi fitur. Representasi ini disimpan dalam vektor fitur untuk model untuk melakukan algoritma untuk pengurangan data.
Setelah ekstraksi, terkadang perlu untuk menstandardisasi data menggunakan normalisasi fitur, terutama ketika menggunakan algoritma tertentu yang sensitif terhadap besaran dan skala variabel (algoritma turunan berbasis gradien, klaster k-means).
Metode yang berbeda dapat diikuti untuk mencapai hasil tertentu tergantung tugasnya. Semua metode berusaha menyederhanakan data sekaligus mempertahankan informasi yang paling berharga.
Sebagian besar model AI modern melakukan ekstraksi fitur otomatis, tetapi masih berguna untuk memahami beragam cara penanganannya. Berikut adalah beberapa metode ekstraksi fitur umum yang digunakan untuk dimensi:
Analisis komponen utama (PCA): Teknik ini mengurangi jumlah fitur dalam kumpulan data yang besar menjadi komponen utama atau fitur baru yang akan digunakan oleh pengklasifikasi model untuk tugas-tugas spesifiknya.
PCA populer karena kemampuannya untuk menciptakan data asli yang tidak berkorelasi, yang berarti dimensi baru yang diciptakan PCA tidak bergantung satu sama lain.7 Hal ini membuat PCA menjadi solusi yang efisien untuk overfitting akibat kurangnya redundansi data. Ini karena setiap fitur dianggap unik.
Linear discriminant analysis (LDA): Teknik ini biasanya digunakan dalam machine learning untuk memisahkan beberapa kelas dan fitur untuk memecahkan masalah klasifikasi.
Teknik ini umumnya digunakan untuk mengoptimalkan model machine learning. Titik data baru diklasifikasikan menggunakan statistik Bayesian untuk memodelkan distribusi data untuk setiap kelas.
T-distributed stochastic neighbor embedding (t-SNE): Teknik machine learning ini biasanya diterapkan pada tugas-tugas seperti visualisasi fitur dalam pembelajaran mendalam8 Hal ini khususnya berguna saat tugasnya adalah merender visualisasi data dimensi tinggi dalam 2D atau 3D.
Ini biasanya digunakan untuk menganalisis pola dan hubungan dalam ilmu data. Karena sifatnya yang nonlinier, t-SNE memakan banyak biaya dari segi komputasi dan biasanya hanya digunakan untuk tugas visualisasi.
Term frequency-Inverse document frequency (TF-IDF): Metode statistik ini mengevaluasi pentingnya kata berdasarkan seberapa sering kata tersebut muncul. Frekuensi istilah dalam dokumen tertentu diberi bobot berdasarkan seberapa sering istilah tersebut muncul di seluruh dokumen dalam koleksi atau korpus.9
Teknik ini biasa digunakan dalam NLP untuk klasifikasi, klaster, dan pencarian informasi. Bag of words (BoW) adalah teknik yang serupa, tetapi alih-alih mempertimbangkan relevansi istilah, ini secara efektif memperlakukan semua kata secara setara.
Pemrosesan gambar dan visi komputer: Proses ekstraksi fitur mengidentifikasi dan mengekstrak karakteristik utama dari gambar dan video. Data gambar mentah (piksel) diubah menjadi fitur-fitur yang dapat digunakan oleh mesin untuk menerapkan algoritma untuk mengekstrak dan mengklasifikasikan serangkaian fitur baru. Misalnya, histogram gradien berorientasi (HOG) adalah algoritma ekstraksi fitur yang digunakan untuk deteksi objek.
Pemrosesan bahasa alami: Ekstraksi fitur mengubah data teks mentah menjadi struktur format yang dapat diproses oleh model machine learning. Ini berguna untuk tugas-tugas seperti klasifikasi, analisis sentimen atau named entity recognition (NER). Teknik ini dapat diterapkan di seluruh industri, digunakan dalam antarmuka obrolan dan bahkan kesehatan perilaku. Penelitian ini menunjukkan bahwa ekstraksi fitur membantu dalam pengenalan emosi multimodal untuk memantau kesehatan perilaku pasien.10
Pemrosesan sinyal: Teknik ini digunakan untuk menganalisis dan mengekstrak informasi yang berarti dari data sinyal mentah (audio, gambar, atau bahkan data deret waktu) untuk memfasilitasi tugas-tugas seperti klasifikasi, deteksi, atau prediksi. Meskipun pemrosesan sinyal secara tradisional dikaitkan dengan bidang-bidang seperti pengenalan suara, pemrosesan audio, dan analisis gambar, pemrosesan sinyal juga dapat diterapkan di banyak domain lainnya. Misalnya, dalam konteks medis, sinyal psikologis digunakan seperti pembacaan EKG untuk deteksi tren.11
Latih, validasi, lakukan tuning, dan terapkan AI generatif, model dasar, dan kemampuan machine learning dengan IBM watsonx.ai, studio perusahaan generasi berikutnya untuk pembangun AI. Bangun aplikasi AI dalam waktu singkat, dengan sedikit data.
Gunakan AI di bisnis Anda dalam perpaduan antara keahlian AI terdepan di industri dari IBM dan portofolio solusi Anda.
Temukan kembali alur kerja dan operasi yang penting dengan menambahkan AI untuk memaksimalkan pengalaman, pengambilan keputusan secara real-time, dan nilai bisnis.
1 Minsky, Marvin. "Steps toward artificial intelligence." Proceedings of the IRE 49, no. 1 (1961): 8-30. https://rodsmith.nz/wp-content/uploads/Minsky-steps-towards-artificial-intelligence-1.pdf.
2 Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning (Cambridge, MA: MIT Press, 2016). https://www.deeplearningbook.org/contents/autoencoders.html.
3 Narisetty, Naveen Naidu. "Bayesian model selection for high-dimensional data." In Handbook of statistics, vol. 43, pp. 207-248. Elsevier, 2020. https://www.sciencedirect.com/science/article/abs/pii/S0169716119300380.
4 de-la-Bandera, Isabel, David Palacios, Jessica Mendoza, dan Raquel Barco. "Feature extraction for dimensionality reduction in cellular networks performance analysis." Sensor 20, no. 23 (2020): 6944. https://pmc.ncbi.nlm.nih.gov/articles/PMC7730729.
5 https://www.sciencedirect.com/topics/computer-science/feature-extraction.
6 Khalid, Samina, Tehmina Khalil, and Shamila Nasreen. "A survey of feature selection and feature extraction techniques in machine learning." In 2014 science and information conference, pp. 372-378. IEEE, 2014. https://ieeexplore.ieee.org/abstract/document/6918213.
7 Kuhn, Max, and Kjell Johnson. Applied predictive modeling. Vol. 26. New York: Springer, 2013.
8 Zhou, Yuansheng, and Tatyana O. Sharpee. "Using global t-SNE to preserve intercluster data structure." Neural computation 34, no. 8 (2022): 1637-1651. https://pmc.ncbi.nlm.nih.gov/articles/PMC10010455/.
9 Sammut, Claude, and Geoffrey I. Webb, eds. Encyclopedia of machine learning. Springer Science & Business Media, 2011.
10 Minsky, Marvin. "Steps toward artificial intelligence." Proceedings of the IRE 49, no. 1 (1961): 8 30. https://www.sciencedirect.com/science/article/abs/pii/S1566253523005341.
11 Geetha, A. V., T. Mala, D. Priyanka, and E. Uma. "Multimodal emotion recognition with deep learning: advancements, challenges, and future directions." Information Fusion 105 (2024): 102218. https://www.sciencedirect.com/science/article/abs/pii/S1566253523005341.