LDA adalah model probabilistik. Ini berarti algoritme LDA menghasilkan topik, mengklasifikasikan kata-kata dan dokumen di antara berbagai topik ini, sesuai dengan distribusi probabilitas. Namun, mengapa ini merupakan metode yang tepat untuk mengungkap struktur tematik tersembunyi dalam data teks? Pada dasarnya, LDA mengasumsikan dokumen telah dihasilkan melalui pengambilan sampel acak dari topik pra-dokumen, dan LDA mencoba merekayasa balik pengambilan sampel ini.

Proses teks generatif imajiner LDA dimulai dengan topik pra-dokumen. Setiap topik adalah kosakata kata yang telah ditetapkan, di mana setiap kata memiliki kemungkinan/probabilitas bahwa kata tersebut termasuk dalam topik. Perhatikan bahwa kata-kata diberi probabilitas, bukan kategori terpisah untuk memperhitungkan potensi keragaman makna dan penggunaan. Kemudian, untuk membuat dokumen teks, mesin secara acak menghasilkan distribusi topik—misalnya, delapan puluh lima persen politik, sepuluh persen keuangan, lima persen sejarah. Untuk setiap kata dalam dokumen ini, mesin secara acak menyeleksi salah satu topik yang dipilih dan secara acak mengeluarkan kata dari topik tersebut. Perhatikan bahwa LDA sendiri tidak menghasilkan dokumen dengan cara ini. Sebaliknya, ini adalah proses dimana LDA mengasumsikan dokumen telah dibuat. LDA sendiri mencoba membalikkan proses ini untuk mengungkap topik-topik yang menyeluruh dan tersembunyi yang ada di dalam sebuah korpus dokumen.

Gambar ini mengilustrasikan proses pembuatan teks yang diasumsikan mendasari LDA:

Di bagian bawah gambar ini adalah berbagai topik acak yang terdiri dari distribusi kata. Topik-topik ini ada untuk setiap dokumen dalam kumpulan. Untuk menghasilkan dokumen tertentu (dalam contoh ini, Othello karya Shakespeare), mesin menghasilkan distribusi topik, yang ditunjukkan oleh grafik di ujung kanan. Distribusi ini adalah topik (dan proporsi untuk masing-masing) yang akan membentuk dokumen. Untuk setiap kata dalam dokumen, mesin secara acak memilih salah satu topik yang dipilih (kolom titik-titik berwarna), dan kemudian secara acak memilih kata (istilah yang disorot).² Perhatikan bahwa visualisasi ini hanyalah contoh ilustrasi, bukan hasil dari pemodelan topik atau pembuatan teks yang sebenarnya. Namun demikian, seperti yang telah disebutkan, LDA mengasumsikan bahwa setiap dokumen dihasilkan oleh proses generatif umum ini, yang mana LDA mencoba untuk melakukan rekayasa balik.

Layaknya pendekatan pemodelan topik lainnya, seperti analisis semantik laten (LSA), LDA melakukan pendekatan dokumen lintas korpus sebagai kumpulan kata. Ini artinya LDA mengabaikan urutan kata dan konteks. Sebaliknya, LDA berfokus pada seberapa sering kata-kata muncul dan muncul bersamaan dalam setiap dokumen individu.³ Frekuensi kata dan kejadian bersamaan dimodelkan dalam matriks istilah dokumen. Di sini, dokumen berbentuk baris dan setiap kata-kata adalah kolom, atau sebaliknya. Nilai setiap sel menunjukkan frekuensi kemunculan kata tertentu di setiap dokumen.⁴

Dengan menggunakan matriks istilah dokumen, algoritme LDA menghasilkan distribusi topik (yaitu daftar kata kunci dengan probabilitasnya masing-masing) sesuai dengan frekuensi kata dan kemunculan bersama. Dengan melacak frekuensi kejadian bersama, LDA mengasumsikan kata-kata yang terjadi bersama kemungkinan merupakan bagian dari topik serupa. Algoritme ini selanjutnya menetapkan distribusi topik dokumen berdasarkan kelompok kata yang muncul dalam dokumen yang diberikan.⁵

Misalnya, katakanlah kita membuat model LDA untuk kumpulan artikel berita yang memiliki output parsial berikut

Di sini, kita memiliki dua topik yang mungkin digambarkan sebagai imigrasi (Topik 1) dan astronomi (Topik 2). Skor yang diberikan pada setiap kata adalah probabilitas munculnya kata kunci tersebut pada topik yang ditentukan. Probabilitas yang melekat pada setiap dokumen merupakan probabilitas masing-masing dokumen untuk termasuk dalam campuran topik yang diberikan distribusi dan kemunculan kata dari masing-masing topik dalam dokumen tersebut. Misalnya, baris pertama tabel mencantumkan batas di bawah Topik 1 dengan probabilitas 40% dan spasi di Topik 2 dengan probabilitas 60%. Persentase ini menunjukkan kemungkinan munculnya istilah masing-masing dalam topik tersebut di seluruh korpus. Baris dokumen pertama bertuliskan Dokumen 1: Topik 1: .95, Topik 2: .05. Artinya, berdasarkan kemunculan kata-kata dalam Dokumen 1, model memproyeksikan Dokumen 1 sebagai 95% berasal dari Topik 1 dan 5% berasal dari Topik 2. Dengan kata lain, model LDA hipotetis kami mengasumsikan bahwa ini adalah topik dan proporsi topik tersebut yang digunakan untuk menghasilkan model.

Tentu saja, kata-kata polisemi secara khusus menimbulkan masalah untuk kategorisasi yang terpisah—misalnya, alien dapat merujuk pada orang pendatang atau makhluk luar angkasa. Dalam kasus tersebut, bagaimana algoritma LDA menentukan pada topik mana kata (dan lebih jauh lagi, dokumen tersebut) berada?

Saat menetapkan topik ke kata-kata, algoritme LDA menggunakan hal yang dikenal sebagai pengambilan sampel Gibbs. Rumus pengambilan sampel Gibbs adalah:

Memahami operasi pasti dan hiperparameter persamaan ini memerlukan pengetahuan dasar dalam statistik dan teknik Markov Chain Monte Carlo (Monte Carlo sering digunakan dalam pembelajaran penguatan). Meskipun demikian, kita dapat meringkas komponen utama persamaan tersebut:

• Rasio pertama menyatakan probabilitas topik t dalam dokumen d. Algoritme menghitung probabilitas ini berdasarkan jumlah kata dalam dokumen d yang termasuk dalam topik t. Pada dasarnya, hal ini menimbulkan pertanyaan: seberapa umum topik t dalam dokumen d?
• Rasio kedua menyatakan probabilitas kata w yang termasuk dalam topik t. Algoritme menghitung probabilitas ini dengan menghitung kemunculan w dalam t atas semua token kata dalam t. Ini menimbulkan pertanyaan: dengan frekuensi berapa kata w muncul di topik t di seluruh korpus lainnya?

Perhatikan bahwa pengambilan sampel Gibbs adalah proses berulang. Artinya, sebuah kata tidak diambil sampelnya sekali, diberi topik, dan dibuang. Sebaliknya, pengambilan sampel Gibbs melewatkan setiap kata melalui beberapa iterasi, memperbarui probabilitas kata topik berdasarkan satu sama lain.⁶

Fitur pembeda LDA adalah distribusi probabilistik setiap dokumen atas serangkaian topik bersama. Seperti pendekatan pemodelan topik lainnya, topik ini dan distribusinya di setiap dokumen tidak diketahui. Pemodelan topik tidak diawasi; tidak ada data berlabel manual yang memandu analisis. Dengan mengungkap struktur topik tersembunyi, LDA akhirnya membuat anotasi dokumen di seluruh koleksi. Anotasi ini (yaitu topik yang tidak terungkap) dapat digunakan untuk mengklasifikasikan teks. Dengan cara ini, LDA membantu sistem pencarian informasi dengan mengotomatiskan anotasi dan pengaturan koleksi dokumen yang besar.⁷

Seperti halnya berbagai teknik penggalian teks dalam ilmu data, prapemrosesan teks sangat meningkatkan hasil model LDA. Penghapusan stopword menghilangkan kata-kata umum yang tidak relevan secara semantik. Stemming atau lematisasi membantu mereduksi varian morfologi menjadi bentuk dasar, sehingga menggabungkan variasi kata yang mungkin dipisahkan oleh mesin, misalnya, dance, dancing, dancer, dan seterusnya.

Karena model LDA bersifat probabilistik dan bukan deterministik, optimasi model bisa menjadi proses yang sulit. Tidak ada jumlah topik tertentu yang memberikan hasil terbaik, dan tampaknya tidak ada prinsip panduan, seperti serangkaian topik yang cocok untuk sejumlah dokumen tertentu. Memang, menyempurnakan parameter model untuk menghasilkan topik yang dapat ditafsirkan dan koheren melibatkan banyak uji coba dan kesalahan.

Alat atau metrik apa yang tersedia untuk membantu pengguna menyempurnakan model LDA? Mereka yang baru mengenal pemodelan topik mungkin akan merasa frustrasi ketika mengetahui bahwa tidak ada satu pun, atau bahkan kumpulan, metrik kinerja yang diadopsi dalam literatur.

Kualitatif. Percaya atau tidak, evaluasi kualitatif tidak jarang terjadi, terutama dalam aplikasi dunia nyata. Ini mungkin sering melibatkan pemeriksaan lima atau sepuluh kata kunci teratas untuk setiap topik. Ini selanjutnya digunakan untuk mengevaluasi topik sesuai dengan seberapa mudah topik ditafsirkan oleh pengguna manusia.⁸ "Pengamatan" semacam ini, dapat dikatakan, membutuhkan sejumlah besar pengetahuan domain pakar dan keakraban dengan dokumen yang sedang dipertimbangkan.⁹

Koherensi. Koherensi topik adalah salah satu metode kuantitatif populer untuk mengevaluasi topik yang dihasilkan. Skor koherensi topik mengukur seberapa sering kata-kata yang paling mungkin dari suatu topik muncul bersama dalam dokumen yang sama di seluruh korpus. Lebih khusus lagi, fitur ini menghitung frekuensi kemunculan bersama dari setiap pasangan kata dari n kata teratas sebuah topik terhadap frekuensi kata masing-masing individu di seluruh korpus. Ini bertujuan untuk mengukur seberapa koheren topik yang diberikan. Skor koherensi keseluruhan model merupakan rata-rata dari skor koherensi yang dimiliki oleh masing-masing topik. Akibatnya, skor keseluruhan ini menandakan koherensi topik rata-rata dalam model tertentu. Sesuai dengan namanya, koherensi mengevaluasi model semata-mata berdasarkan pada seberapa kohesif topik-topiknya. Topik juga harus mempertahankan tingkat eksklusivitas, tetapi saat ini belum ada ukuran kuantitatifnya.¹⁰

Penelitian terbaru menunjukkan bahwa metrik kuantitatif, seperti skor koherensi, tidak dapat diandalkan untuk evaluasi model topik. Hal ini, sebagian disebabkan oleh ambiguitas dalam tujuan evaluatif yang diakui yaitu interpretabilitas—hal yang membuat model dan hasilnya dapat diinterpretasikan?¹¹ Selain itu, metrik otomatis yang dirancang untuk sistem yang lebih lama mungkin tidak dapat diekstrapolasi dengan baik ke sistem yang lebih baru. Masalah ini kian rumit dengan kurangnya transparansi dalam banyak eksperimen yang dipublikasikan yang mencegah generalisasi metode evaluasi ke kumpulan data atau domain lain^.12 Penelitian baru-baru ini beralih ke aplikasi kecerdasan buatan, terutama model bahasa besar (LLM), sebagai sarana untuk merancang dan mengevaluasi model LDA untuk tujuan penelitian tertentu^.13 Meskipun hal ini menunjukkan hasil yang menjanjikan, penelitian lebih lanjut masih diperlukan.