Apa itu penyematan kata?

Pengembangan penyematan untuk merepresentasikan teks telah berperan besar dalam memajukan aplikasi pemrosesan bahasa alami (NLP) dan machine learning (ML). Penyematan kata telah menjadi bagian integral dari tugas-tugas seperti klasifikasi teks, analisis sentimen, terjemahan mesin, dan banyak lagi.

Metode tradisional untuk merepresentasikan kata dengan cara yang dapat dipahami mesin, seperti pengkodean one-hot, merepresentasikan setiap kata sebagai vektor yang jarang dengan dimensi yang sama dengan ukuran kosakata. Di sini, hanya satu elemen vektor yang berstatus "hot" (disetel ke 1) untuk menunjukkan keberadaan kata itu. Meskipun sederhana, pendekatan ini memiliki kekurangan yang berupa dimensi, kurangnya informasi semantik, dan tidak menangkap hubungan antar kata.

Penyematan kata, di sisi lain, adalah vektor padat dengan nilai kontinu yang dilatih menggunakan teknik machine learning, sering kali didasarkan pada neural network. Idenya adalah untuk mempelajari representasi yang mengkodekan makna semantik dan hubungan antar kata. Penyematan kata dilatih dengan memaparkan model ke sejumlah besar data teks dan menyesuaikan representasi vektor berdasarkan konteks kemunculan kata.

Salah satu metode populer untuk melatih penyematan kata adalah Word2Vec, yang menggunakan neural network untuk memprediksi kata-kata di sekitar kata target dalam konteks tertentu. Pendekatan lain yang banyak digunakan adalah GloVe (Global Vectors for Word Representation), yang memanfaatkan statistik global untuk membuat penyematan.

Penyematan kata telah terbukti sangat berguna untuk tugas-tugas NLP, karena memungkinkan algoritma machine learning untuk memahami dan memproses hubungan semantik antar kata dengan cara yang lebih spesifik dibandingkan dengan metode tradisional.

Penyematan kata digunakan dalam berbagai tugas NLP untuk meningkatkan representasi kata dan menangkap hubungan semantik, termasuk:

Pada tahun 2000-an, para peneliti mulai mengeksplorasi model bahasa neural (NLM), yang menggunakan neural network untuk memodelkan hubungan antar kata dalam ruang yang berkesinambungan. Model-model awal ini menjadi dasar untuk pengembangan penyematan kata mendatang.

Bengio dkk. (2003) memperkenalkan feedforward neural network untuk pemodelan bahasa. Model-model ini mampu menangkap representasi kata yang terdistribusi, tetapi kemampuannya terbatas dalam menangani kosakata yang besar.

Para peneliti, termasuk Mnih dan Hinton (2009), mengeksplorasi model-model probabilistik untuk mempelajari representasi kata yang terdistribusi. Model-model ini berfokus pada menangkap hubungan semantik antar kata dan merupakan langkah penting menuju terciptanya penyematan kata.

Model Word2Vec, yang diperkenalkan oleh Tomas Mikolov dan rekan-rekannya di Google pada tahun 2013, menandai sebuah terobosan yang signifikan. Word2Vec memanfaatkan dua model, Continuous Bag of Words (CBOW) dan Continuous Skip-gram, yang secara efisien mempelajari penyematan kata dari korpus besar dan telah diadopsi secara luas karena kesederhanaan dan keefektifannya.

GloVe (Global Vectors for Word Representation), yang diperkenalkan oleh Pennington dkk. pada tahun 2014, didasarkan pada ide menggunakan statistik global (frekuensi kemunculan kata) untuk mempelajari representasi vektor untuk kata-kata. Ini telah digunakan dalam berbagai aplikasi NLP dan dikenal karena kemampuannya untuk menangkap hubungan semantik.

Saat ini, dengan meningkatnya pembelajaran mendalam, lapisan penyematan telah menjadi komponen standar arsitektur neural networks untuk tugas-tugas NLP. Penyematan sekarang digunakan tidak hanya untuk kata-kata tetapi juga untuk entitas, frasa, dan unit linguistik lainnya. Dalam kebanyakan kasus, penyematan kata telah memungkinkan model bahasa seperti neural networks berulang (RNN), jaringan long short-term memory (LSTM), Embeddings from Language Models (ELMO), BERT, ALBERT (BERT ringan), dan GPT untuk berkembang dengan kecepatan yang sangat tinggi. 

Tujuan utama dari penyematan kata adalah untuk merepresentasikan kata-kata dengan cara yang dapat menangkap hubungan semantik dan informasi kontekstualnya. Vektor-vektor ini merupakan representasi numerik dalam ruang vektor kontinu, tempat posisi relatif vektor mencerminkan kemiripan semantik dan hubungan antar kata.

Alasan vektor digunakan untuk merepresentasikan kata adalah karena sebagian besar algoritma machine learning, termasuk neural network, tidak mampu memproses teks biasa dalam bentuk mentahnya. Mereka membutuhkan angka sebagai input untuk melakukan tugas apa pun.

Proses pembuatan penyematan kata melibatkan pelatihan model pada korpus teks yang besar (misalnya, Wikipedia atau Google News). Korpus diproses sebelumnya dengan mengubah teks menjadi kata-kata, menghapus kata-kata penghambat dan tanda baca, serta melakukan tugas-tugas pembersihan teks lainnya.

Jendela konteks geser diterapkan pada teks, dan untuk setiap kata target, kata-kata di sekitar jendela dianggap sebagai kata konteks. Model penyematan kata dilatih untuk memprediksi kata target berdasarkan konteks kata atau sebaliknya.

Hal ini memungkinkan model untuk menangkap pola linguistik yang beragam dan menetapkan setiap kata sebagai vektor unik, yang mewakili posisi kata dalam ruang vektor yang kontinu. Kata-kata yang memiliki arti yang sama diposisikan berdekatan satu sama lain, dan jarak serta arah antara vektor mengkodekan tingkat kemiripan.

Proses pelatihan melibatkan penyesuaian parameter model penyematan untuk meminimalkan perbedaan antara kata yang diprediksi dan kata yang sebenarnya dalam konteks.

Berikut adalah contoh penyematan kata yang disederhanakan untuk korpus yang sangat kecil (6 kata), dengan setiap kata direpresentasikan sebagai vektor 3 dimensi:

    cat          [0.2, -0.4, 0.7]
    dog         [0.6, 0.1, 0.5]
    apple      [0.8, -0.2, -0.3]
    orange    [0.7, -0.1, -0.6]
    happy     [-0.5, 0.9, 0.2]
    sad         [0.4, -0.7, -0.5]

Dalam contoh ini, setiap kata (misalnya, "kucing", "anjing", "apel") dikaitkan dengan vektor unik. Nilai-nilai dalam vektor mewakili posisi kata dalam ruang vektor 3 dimensi kontinu. Kata-kata dengan arti atau konteks yang sama diharapkan memiliki representasi vektor yang serupa. Misalnya, vektor untuk "kucing" dan "anjing" berdekatan, mencerminkan hubungan semantik mereka. Demikian juga, vektor untuk "senang" dan "sedih" memiliki arah yang berlawanan, menunjukkan makna yang kontras.

Contoh di atas sangat disederhanakan untuk tujuan ilustrasi. Penyematan kata yang sebenarnya biasanya memiliki ratusan dimensi untuk menangkap hubungan yang lebih rumit dan perbedaan makna.

Penyematan kata telah menjadi alat yang fundamental dalam NLP, memberikan dasar untuk memahami dan merepresentasikan bahasa dengan cara yang selaras dengan semantik yang mendasari kata dan frasa.

Di bawah ini adalah beberapa konsep utama dan pengembangan yang telah membuat penggunaan penyematan kata menjadi teknik yang andal dalam membantu memajukan NLP.

Metode penyematan berbasis frekuensi dan berbasis prediksi mewakili dua kategori pendekatan yang luas dalam konteks penyematan kata. Metode-metode ini utamanya berbeda dalam cara mereka menghasilkan representasi vektor untuk kata-kata.

Penyematan berbasis frekuensi mengacu pada representasi kata yang berasal dari frekuensi kata-kata dalam korpus. Penyematan ini didasarkan pada gagasan bahwa tingkat kepentingan atau signifikansi sebuah kata dapat disimpulkan dari seberapa sering kata tersebut muncul dalam teks.

Salah satu contoh penyematan berbasis frekuensi adalah Term Frequency-Inverse Document Frequency (TF-IDF). TF-IDF dirancang untuk menyoroti kata-kata yang sering muncul di dalam dokumen tertentu dan relatif jarang muncul di seluruh korpus, sehingga membantu mengidentifikasi istilah-istilah yang penting untuk dokumen tertentu.

Skor TF-IDF untuk istilah (kata) dalam dokumen dihitung menggunakan rumus berikut:

 TF-IDF (t,d,D) = TF(t,d) x IDF(t, D)

Aplikasi TF-IDF meliputi pengambilan informasi, pemeringkatan dokumen, peringkasan teks, dan penambangan teks.

Meskipun penyematan berbasis frekuensi bersifat langsung dan mudah dipahami, tetapi tidak memiliki kedalaman informasi semantik dan kesadaran konteks yang disediakan oleh penyematan berbasis prediksi yang lebih canggih.

Penyematan berbasis prediksi adalah representasi kata yang berasal dari model yang dilatih untuk memprediksi aspek tertentu dari konteks kata atau kata-kata yang berdekatan. Tidak seperti penyematan berbasis frekuensi yang berfokus pada seberapa sering kata muncul, penyematan berbasis prediksi menangkap hubungan semantik dan informasi kontekstual, sehingga memberikan representasi yang lebih kaya akan makna kata.

Penyematan berbasis prediksi dapat membedakan sinonim dan menangani polisemi (arti ganda dari sebuah kata) dengan lebih efektif. Sifat ruang vektor dari penyematan berbasis prediksi memungkinkan tugas-tugas seperti mengukur kemiripan kata dan memecahkan analogi. Penyematan berbasis prediksi juga dapat menggeneralisasi dengan baik kata-kata yang belum ditemui atau konteks, sehingga membuatnya andal dalam menangani istilah di luar kosakata.

Metode berbasis prediksi, terutama yang seperti Word2Vec dan GloVe (dibahas di bawah), telah menjadi dominan di bidang penyematan kata karena kemampuannya untuk menangkap makna semantik yang kaya dan menggeneralisasi dengan baik untuk berbagai tugas NLP.

Dikembangkan oleh tim peneliti di Google, termasuk Tomas Mikolov, pada tahun 2013, Word2Vec (Word to Vector) telah menjadi teknik dasar untuk mempelajari penyematan kata dalam model pemrosesan bahasa alami (NLP) dan machine learning.

Word2Vec terdiri dari dua model utama untuk menghasilkan representasi vektor: Continuous Bag of Words (CBOW) dan Continuous Skip-gram.

Dalam konteks Word2Vec, model Continuous Bag of Words (CBOW) bertujuan untuk memprediksi kata target berdasarkan kata konteks di sekitarnya dalam jendela tertentu. Sistem ini menggunakan kata-kata konteks untuk memprediksi kata target, dan penyematan yang dipelajari menangkap hubungan semantik antar kata.

Sebaliknya, model Continuous Skip-gram mengambil kata target sebagai input dan berusaha memprediksi kata konteks di sekitarnya.

Saat menerima urutan kata dalam sebuah kalimat, model CBOW mengambil sejumlah kata konteks (kata-kata di sekitar kata target) sebagai input. Setiap kata konteks direpresentasikan sebagai penyematan (vektor) melalui lapisan penyematan bersama. Penyematan ini dipelajari selama proses latihan.

Penyematan kata konteks individu dikumpulkan, biasanya dengan menjumlahkan atau merata-ratakannya. Representasi agregat ini berfungsi sebagai input ke lapisan berikutnya.

Representasi agregat kemudian digunakan untuk memprediksi kata target menggunakan fungsi aktivasi softmax. Model ini dilatih untuk meminimalkan perbedaan antara distribusi probabilitas yang diprediksi atas kosakata dan distribusi aktual (representasi one-hot encoded) untuk kata target.

Model CBOW dilatih dengan menyesuaikan bobot lapisan penyematan berdasarkan kemampuannya memprediksi kata target secara akurat.

Model Continuous Skip-gram menggunakan data latihan untuk memprediksi kata konteks berdasarkan penyematan kata target. Secara khusus, sistem ini menghasilkan distribusi probabilitas atas kosakata, yang mengindikasikan kemungkinan setiap kata berada dalam konteks yang diberikan oleh kata target.

Tujuan latihan adalah untuk memaksimalkan kemungkinan kata-kata konteks aktual yang diberikan kata target. Hal ini melibatkan penyesuaian bobot lapisan penyematan untuk meminimalkan perbedaan antara probabilitas yang diprediksi dan distribusi kata-kata konteks yang sebenarnya. Model ini juga memungkinkan ukuran jendela konteks yang fleksibel. Hal ini dapat disesuaikan berdasarkan persyaratan khusus dari tugas, memungkinkan pengguna untuk menangkap hubungan konteks lokal dan global.

Model Skip-gram pada dasarnya adalah "melompati" dari kata target untuk memprediksi konteksnya, yang membuatnya sangat efektif dalam menangkap hubungan semantik dan kemiripan antar kata.

Kedua model yang digunakan oleh Word2Vec memiliki kelebihan dan keterbatasan masing-masing. Skip-gram bekerja dengan baik saat menangani sejumlah besar data teks dan terbukti mampu merepresentasikan kata-kata yang langka dengan baik. CBOW, di sisi lain, lebih cepat dan memiliki representasi yang lebih baik untuk kata-kata yang lebih sering muncul.

Terkait keterbatasannya, Word2Vec mungkin tidak secara efektif menangani polisemi, saat satu kata memiliki banyak arti. Model tersebut mungkin merata-ratakan atau mencampur representasi indera yang berbeda dari kata yang bersifat polisemi. Word2Vec juga memperlakukan kata-kata sebagai unit atom dan tidak menangkap informasi subkata.

Upaya mengatasi beberapa keterbatasan ini telah menjadi motivasi untuk pengembangan model yang lebih canggih, seperti FastText, GloVe, dan model berbasis transformator (dibahas di bawah), yang bertujuan untuk mengatasi beberapa kekurangan Word2Vec.

GloVe (Global Vectors for Word Representation) adalah model penyematan kata yang dirancang untuk menangkap informasi statistik global tentang pola kemunculan kata secara bersamaan dalam korpus.

Diperkenalkan oleh Jeffrey Pennington, Richard Socher, dan Christopher D. Manning pada tahun 2014, model GloVe berbeda dari Word2Vec karena menekankan penggunaan informasi global alih-alih hanya berfokus pada konteks lokal.

GloVe didasarkan pada gagasan bahwa statistik global kemunculan kata yang bersamaan di seluruh korpus sangat penting untuk menangkap semantik kata. Ini mempertimbangkan seberapa sering kata-kata muncul bersama satu sama lain di seluruh kumpulan data, bukan hanya dalam konteks lokal kata-kata individual.

Model ini bertujuan untuk meminimalkan perbedaan antara probabilitas kemunculan bersama yang diprediksi dan probabilitas aktual yang berasal dari statistik korpus.

GloVe efisien secara komputasi dibandingkan dengan beberapa metode lain, karena mengandalkan statistik global dan menggunakan teknik faktorisasi matriks untuk mempelajari vektor kata. Model dapat dilatih pada korpus besar tanpa memerlukan sumber daya komputasi yang luas.

GloVe memperkenalkan bobot skalar untuk pasangan kata guna mengontrol pengaruh pasangan kata yang berbeda pada proses pelatihan. Bobot ini membantu mengurangi dampak pasangan kata yang sangat sering atau jarang pada penyematan yang dipelajari.

Tidak seperti model Word2Vec (CBOW dan Skip-gram), yang berfokus pada prediksi kata konteks yang diberikan kata target atau sebaliknya, GloVe menggunakan pendekatan yang berbeda yang melibatkan pengoptimalan vektor kata berdasarkan probabilitas kemunculan bersama. Proses latihan dirancang untuk mempelajari penyematan yang secara efektif menangkap hubungan semantik antar kata.

Langkah pertama adalah membangun matriks kemunculan bersama yang mewakili seberapa sering kata-kata muncul bersama dalam korpus.

Langkah selanjutnya adalah merumuskan fungsi objektif yang menggambarkan hubungan antara vektor kata dan probabilitas kemunculan bersama.

Fungsi tujuan dioptimalkan menggunakan penurunan gradien atau algoritma pengoptimalan lainnya. Tujuannya adalah menyesuaikan vektor kata dan bias untuk meminimalkan perbedaan kuadrat antara probabilitas kemunculan bersama logaritmik yang diprediksi dan yang sebenarnya.

Pengguna dapat mengunduh penyematan GLove yang telah dilatih sebelumnya dan melakukan tuning untuk aplikasi tertentu atau menggunakannya secara langsung.

Penyematan GloVe banyak digunakan dalam tugas-tugas NLP, seperti klasifikasi teks, analisis sentimen, penerjemahan mesin, dan banyak lagi.

GloVe unggul dalam skenario ketika menangkap hubungan semantik global, memahami konteks keseluruhan kata, dan memanfaatkan statistik kemunculan bersama sangat penting untuk keberhasilan tugas pemrosesan bahasa alami.

Keberhasilan Word2Vec dan GloVe telah menginspirasi penelitian lebih lanjut untuk model representasi bahasa yang lebih canggih, seperti FastText, BERT, dan GPT. Model ini memanfaatkan penyematan subkata, mekanisme atensi, dan transformator agar dapat menangani penyematan dimensi yang lebih tinggi secara efektif.

Penyematan subkata, seperti FastText, merepresentasikan kata sebagai kombinasi unit subkata, sehingga memberikan fleksibilitas yang lebih besar dan mampu menangani kata-kata yang langka atau di luar kosakata. Penyematan subkata meningkatkan keandalan dan cakupan penyematan kata.

Tidak seperti GloVe, FastText menyematkan kata-kata dengan memperlakukan setiap kata sebagai terdiri dari karakter n-gram, bukan keseluruhan kata. Fitur ini memungkinkannya tidak hanya mempelajari kata-kata langka, tetapi juga kata-kata di luar kosakata.

Mekanisme atensi dan model transformator mempertimbangkan informasi kontekstual dan hubungan dua arah antar kata, yang mengarah ke representasi bahasa yang lebih canggih.

Mekanisme atensi diperkenalkan untuk meningkatkan kemampuan neural networks untuk berfokus pada bagian tertentu dari urutan input ketika membuat prediksi. Alih-alih memberikan perlakuan yang sama pada semua bagian input, mekanisme atensi mendorong model agar secara selektif memperhatikan bagian yang relevan dari input.

Transformator telah menjadi tulang punggung dari berbagai model mutakhir dalam NLP, termasuk BERT, GPT, dan T5 (Text-to-Text Transfer Transformer) lainnya. Model-model ini unggul dalam tugas-tugas seperti pemodelan bahasa, terjemahan mesin, pembuatan teks, dan penjawaban pertanyaan.

Transformator menggunakan mekanisme atensi mandiri untuk menangkap hubungan antara kata yang berbeda dalam suatu urutan. Mekanisme ini memungkinkan setiap kata untuk memperhatikan semua kata lain dalam urutan, menangkap dependensi jarak jauh.

Transformator memungkinkan lebih banyak pemahaman paralel selama latihan dibandingkan dengan RNN dan efisien secara komputasi.