Apa itu analisis semantik laten?

LSA adalah salah satu dari dua teknik pemodelan topik utama, yang lainnya adalah alokasi Dirichlet laten (LDA). Pemodelan topik adalah teknik pemrosesan bahasa alami (NLP) yang menerapkan pembelajaran tanpa pengawasan pada kumpulan data teks besar untuk menghasilkan kumpulan ringkasan istilah yang berasal dari dokumen tersebut. Semua istilah ini dimaksudkan untuk menunjukkan keseluruhan kumpulan topik utama dari kumpulan dokumen. Dengan demikian, model topik bertujuan untuk mengungkap topik atau tema laten yang menjadi ciri dari sejumlah dokumen.¹

Pengguna dapat menghasilkan model topik LSA menggunakan toolkit bahasa alami (NLTK) dari scikit-learn (biasanya disebut sklearn) dan gensim di Python. Model topik dan paket lsa di R juga berisi fungsi untuk menghasilkan model topik LSA.

Analisis semantik laten dikaitkan dengan pengindeksan semantik laten (LSI) yang merupakan teknik pengambilan informasi. Dalam sistem pengambilan informasi, LSI menggunakan prosedur matematis yang sama yang mendasari LSA untuk memetakan kueri pengguna ke dokumen berdasarkan kemunculan bersama kata. Jika pengguna menanyakan sistem untuk waltz dan foxtrot, mereka mungkin tertarik dengan dokumen yang tidak berisi salah satu dari istilah tersebut, namun berisi istilah yang sering muncul bersamaan dengan istilah kueri mereka. Misalnya, tango dan bolero mungkin sering muncul bersama dengan istilah kueri dan harus menunjukkan dokumen tentang topik yang sama. LSI mengindeks dokumen menurut kelompok kata semantik laten yang terdiri dari kata-kata yang biasa muncul bersamaan. Dengan cara ini, teknik ini dapat meningkatkan hasil mesin pencari. LSA menerapkan prosedur matematis yang sama dengan LSI untuk menangkap struktur semantik tersembunyi yang mendasari koleksi dokumen yang besar.²

LSA dimulai dengan matriks dokumen-istilah atau terkadang matriks istilah-dokumen. Matriks ini menampilkan jumlah kemunculan setiap kata di semua dokumen. Di Python, misalnya, pengguna dapat membuat matriks ini menggunakan dataframe pandas. Berikut adalah contoh matriks dokumen-istilah menggunakan tiga untai teks sebagai dokumen terpisah:

d1: Cintaku seperti merah, mawar merah

d2: Mawar berwarna merah, violet berwarna biru

d3: Musa mengira jari kakinya adalah mawar

Matriks ini menunjukkan frekuensi kata dari setiap kata di ketiga dokumen setelah tokenisasi dan penghapusan stopword. Setiap kolom berhubungan dengan dokumen, sementara setiap baris berhubungan dengan kata tertentu yang ditemukan di seluruh korpus teks. Nilai dalam matriks menandakan berapa kali satu istilah tertentu muncul dalam dokumen tertentu. Jika istilah w muncul sebanyak n kali dalam dokumen d, maka [w,d] = n. Jadi, misalnya, dokumen 1 menggunakan 'merah' dua kali sehingga [merah, d1] = 2.

Dari matriks dokumen-istilah, LSA menghasilkan matriks dokumen-dokumen dan matriks istilah-istilah. Jika dimensi matriks dokumen-istilah ditetapkan sebagai d dokumen dikali w kata, maka matriks dokumen-dokumen adalah d dikali d dan matriks istilah-istilah w dikali w. Setiap nilai dalam matriks dokumen-dokumen menunjukkan jumlah kata yang dimiliki bersama-sama oleh setiap dokumen. Setiap nilai dalam matriks istilah-istilah menunjukkan jumlah dokumen di mana kedua istilah muncul bersamaan.³

Keterbatasan data yang menyebabkan overfitting pada model terjadi ketika sebagian besar nilai data dalam kumpulan data tertentu adalah nol (atau kosong). Hal ini sering terjadi ketika membuat matriks dokumen-istilah, di mana setiap kata adalah dimensi baris dan ruang vektor terpisah, karena satu dokumen akan sering tidak memiliki sebagian besar kata yang lebih sering muncul di dokumen lain. Memang, contoh matriks dokumen-istilah yang digunakan di sini berisi banyak penggunaan kata-kata seperti Musa, violet, dan biru yang hanya muncul dalam satu dokumen. Tentu saja, teknik prapemrosesan teks, seperti penghapusan stopword, stemming, dan lematisasi dapat membantu mengurangi sparsitas. Namun, LSA menawarkan pendekatan yang lebih ditargetkan.

LSA menerapkan teknik reduksi dimensi yang dikenal sebagai dekomposisi nilai tunggal (SVD) untuk mengurangi sparsitas dalam matriks dokumen-istilah. SVD mendukung banyak pendekatan reduksi dimensi lainnya, seperti analisis komponen utama. SVD membantu meringankan masalah yang diakibatkan oleh polisemi, satu kata dengan banyak arti, dan sinonimi yaitu kata berbeda yang memiliki arti sama.

Dengan menggunakan matriks yang dihitung dari istilah di seluruh matriks dokumen-dokumen dan istilah-istilah, algoritma LSA melakukan SVD pada matriks istilah-dokumen awal. Hal ini menghasilkan matriks vektor eigen khusus baru yang memecah hubungan istilah-dokumen asli menjadi berbagai faktor yang independen secara linier. Yang paling penting dari semuanya ini adalah bahwa matriks diagonal dari nilai tunggal dihasilkan dari akar kuadrat nilai eigen matriks dokumen-dokumen. Dalam matriks diagonal ini yang sering ditunjukkan sebagai Σ, nilainya selalu positif dan disusun dalam urutan menurun ke bawah diagonal matriks:

Seperti yang ditunjukkan dalam contoh matriks Σ ini, banyak nilai yang lebih rendah mendekati nol. Pengembang menentukan nilai minimal yang sesuai dengan situasi mereka dan mengurangi semua nilai tunggal dalam Σ di bawah ambang batas tersebut menjadi nol. Ini berarti pada dasarnya menghapus semua baris dan kolom yang sepenuhnya ditempati oleh nol. Selanjutnya, kita menghapus baris dan kolom dari matriks asli kita yang lain sampai matriks tersebut memiliki jumlah baris dan kolom yang sama seperti Σ. Tindakan ini mengurangi dimensi model.⁴

Setelah dimensi model direduksi melalui SVD, algoritma LSA membandingkan dokumen dalam ruang semantik berdimensi lebih rendah menggunakan kemiripan kosinus. Langkah pertama dalam tahap perbandingan ini melibatkan pemetaan dokumen dalam ruang vektor. Di sini, LSA memperlakukan teks sebagai model bag of words. Algoritma ini membuat setiap teks dari satu atau beberapa korpus sebagai vektor dokumen, dengan masing-masing kata dari matriks yang telah direduksi sebagai dimensi vektor tersebut. Penggambaran mengabaikan urutan kata dan konteks, dan lebih berfokus pada seberapa sering kata muncul dan seberapa sering kata tersebut muncul bersamaan di seluruh dokumen.⁵

Dengan model bag of words standar, kata-kata yang tidak relevan secara semantik (misalnya, kata-kata seperti kata sandang and kata penentu kuantitas, dan kata-kata serupa lainnya) dapat memiliki frekuensi istilah tertinggi, dan dengan demikian bobot terbesar dalam sebuah model. Frekuensi istilah-frekuensi dokumen terbalik (TF-IDF) adalah salah satu teknik untuk memperbaikinya. Hal ini dilakukan dengan memperhitungkan prevalensi kata di seluruh dokumen dalam kumpulan teks dan memberi bobot pada kata di setiap dokumen sesuai dengan prevalensi kata di seluruh korpus.⁶

Setelah dokumen dibuat dalam ruang vektor, algoritma LSA menggunakan metrik kesamaan kosinus untuk membandingkannya. Kesamaan kosinus menandakan pengukuran sudut antara dua vektor dalam ruang vektor. Ini bisa berupa nilai antara -1 dan 1. Semakin tinggi skor kosinus, kedua dokumen tersebut dianggap semakin mirip. Kesamaan kosinus ditunjukkan oleh rumus ini, di mana a dan b menandakan dua vektor dokumen:⁷

Ada banyak contoh penggunaan untuk model topik, mulai dari kritik sastra⁸ dan bioinformatika⁹ hingga deteksi ujaran kebencian di media sosial.¹⁰ Seperti halnya kebanyakan tugas NLP, sebagian besar penelitian pemodelan topik selama bertahun-tahun ini berkaitan dengan bahasa Inggris dan bahasa beraksara Latin lainnya. Namun, baru-baru ini, penelitian telah menggali pendekatan pemodelan topik untuk bahasa Arab dan bahasa bukan Latin lainnya.¹¹ Penelitian juga beralih ke bagaimana model bahasa besar (LLM) dapat memajukan dan meningkatkan model topik. Sebagai contoh, sebuah studi menyatakan bahwa LLM menyediakan metode otomatis untuk menyelesaikan masalah yang sudah berlangsung lama dalam pemodelan topik, yaitu cara menentukan jumlah topik yang sesuai dan cara mengevaluasi topik yang dihasilkan.¹²