Stemming dan lematisasi

Stemming dan lematisasi sangat membantu dalam sistem pencarian informasi seperti mesin pencari di mana pengguna dapat mengirimkan kueri dengan satu kata (misalnya, meditate) tetapi mengharapkan hasil yang menggunakan bentuk infleksi dari kata tersebut (misalnya, meditates, meditation, dst.). Stemming dan lematisasi selanjutnya bertujuan untuk meningkatkan pemrosesan teks dalam algoritma machine learning.

Para peneliti memperdebatkan apakah kecerdasan buatan dapat bernalar, dan perdebatan ini telah meluas ke linguistik komputasional. Apakah chatbot dan model pembelajaran mendalam hanya memproses bentuk linguistik, atau bisakannya memahami semantik?² Apa pun yang diyakini seseorang mengenai hal ini, tetap saja model machine learning harus dilatih untuk mengenali kata-kata yang berbeda sebagai varian morfologis dari satu kata dasar. Bahkan memproses kata berdasarkan morfologi, bukan semantik. Dengan mereduksi bentuk kata derivasional menjadi satu kata dasar, stemming dan lematisasi membantu sistem pencarian informasi dan model pembelajaran mendalam menyamakan kata-kata yang berhubungan secara morfologis.

Untuk banyak tugas penambangan teks termasuk klasifikasi teks, pengelompokan, pengindeksan, dan banyak lagi, stemming dan lematisasi membantu meningkatkan akurasi dengan menyusutkan dimensi algoritma machine learning dan mengelompokkan kata-kata yang terkait secara morfologis. Pengurangan dimensi algoritma dapat, pada gilirannya, meningkatkan akurasi dan ketepatan model statistik dalam NLP, seperti model topik dan vektor kata.³

Stemming dan lematisasi berfungsi sebagai salah satu tahap dalam pipeline penambangan kata yang mengubah data teks mentah menjadi format terstruktur untuk diproses oleh mesin. Baik stemming dan lematisasi menghilangkan afiks dari bentuk kata yang diinfleksikan, hanya menyisakan bentuk akar kata.⁴ Proses ini berarti menghapus karakter dari awal dan akhir token kata. Akar kata yang dihasilkan, atau kata dasar, kemudian diteruskan untuk diproses lebih lanjut. Di luar kesamaan dasar ini, stemming dan lematisasi memiliki perbedaan utama dalam hal bagaimana mereka mengurangi berbagai bentuk kata menjadi satu bentuk dasar yang sama.

Algoritma stemming sangat berbeda, meskipun mereka memiliki beberapa mode operasi yang umum. Stemmer menghilangkan sufiks kata dengan menjalankan token kata input terhadap daftar sufiks umum yang telah ditentukan sebelumnya. Stemmer kemudian menghapus semua string karakter sufiks yang ditemukan dari kata tersebut, jika sufiks tersebut tidak melanggar aturan atau ketentuan yang melekat pada sufiks tersebut. Beberapa stemmer (misalnya, Lovins stemmer) menjalankan bit-bit yang dihasilkan melalui seperangkat aturan tambahan untuk mengoreksi akar kata yang cacat.

Algoritma yang paling banyak digunakan adalah algoritma Porter stemming, dan versi yang diperbarui adalah Snowball stemmer. Untuk lebih memahami stemming, kita dapat menjalankan paragraf berikut dari Hamlet karya Shakespeare melalui Snowball stemmer: "There is nothing either good or bad but thinking makes it so.”

Toolkit bahasa alami Python (NLTK) berisi fungsi bawaan untuk Snowball dan Porter stemmer. Setelah melakukan tokenisasi pada kutipan Hamlet menggunakan NLTK, kita dapat meneruskan teks yang telah ditokenisasi melalui Snowball stemmer menggunakan kode ini:

from nltk.stem.snowball import SnowballStemmer
from nltk.tokenize import word_tokenize

stemmer = SnowballStemmer("english", True)
text = "There is nothing either good or bad but thinking makes it so."
words = word_tokenize(text)
stemmed_words = [stemmer.stem(word) for word in words]

print("Original:", text)
print("Tokenized:", words)
print("Stemmed:", stemmed_words)

Output kode:

Original: There is nothing either good or bad but thinking makes it so.
Tokenized: ['There', 'is', 'nothing', 'either', 'good', 'or', 'bad', 'but', 'thinking', 'makes', 'it', 'so', '.']
Stemmed: ['there', 'is', 'noth', 'either', 'good', 'or', 'bad', 'but', 'think', 'make', 'it', 'so', '.']

Algoritma Snowball dan Porter stemmer memiliki metode yang lebih matematis untuk menghilangkan sufiks daripada stemmer lainnya. Bisa dikatakan, stemmer menjalankan setiap token kata berdasarkan daftar aturan yang menentukan string sufiks yang akan dihapus sesuai dengan jumlah kelompok vokal dan konsonan dalam sebuah token.⁵ Tentu saja, karena bahasa Inggris mengikuti aturan leksikal yang umum tetapi tidak mutlak, kriteria sistematis algoritma stemming mengembalikan kesalahan, seperti noth.

Stemmer menghilangkan -ing, yang menjadi akhiran umum yang menandakan present progressive. Namun, dalam kutipan Hamlet , menghapus -ing secara keliru menghasilkan noth stemming. Hal ini dapat menghambat analisis linguistik selanjutnya untuk mengasosiasikan nothing dengan kata benda yang serupa, seperti anything dan something. Selain itu, stemmer meninggalkan kata kerja tidak beraturan is berubah. Snowball stemmer juga meninggalkan konjugasi lain dari to be, seperti was dan are, tidak tanpa stemming. Ini dapat menghambat model untuk mengasosiasikan konjugasi tidak teratur dari kata kerja tertentu dengan benar.

Literatur umumnya mendefinisikan stemming sebagai proses penghapusan imbuhan dari kata untuk mendapatkan string kata yang di stem, dan lematisasi sebagai usaha yang lebih besar untuk mengurangi varian morfologi menjadi satu bentuk dasar kamus.⁶ Perbedaan praktis antara stemming dan lematisasi adalah bahwa, di mana stemming hanya menghilangkan sufiks umum dari akhir token kata, lemmatisasi memastikan kata hasil adalah bentuk normal dari kata tersebut (misalnya, lema) yang dapat ditemukan dalam kamus.⁷

Karena lematisasi bertujuan untuk menghasilkan bentuk dasar kamus, maka diperlukan analisis morfologi yang lebih kuat daripada stemming. Penandaan kelas kata (POS) adalah langkah penting dalam lematisasi. POS pada dasarnya menetapkan setiap tag kata yang menandakan fungsi sintaksisnya dalam kalimat. Python NLTK menyediakan sebuah fungsi untuk algoritma Word Net Lemmatization, yang dengannya kita dapat melakukan lematisasi pada paragraf Hamlet :

from nltk.stem import WordNetLemmatizer
from nltk.corpus import wordnet
from nltk import word_tokenize, pos_tag
 
def get_wordnet_pos(tag):
    if tag.startswith('J'):
        return wordnet.ADJ
    elif tag.startswith('V'):
        return wordnet.VERB
    elif tag.startswith('N'):
        return wordnet.NOUN
    elif tag.startswith('R'):
        return wordnet.ADV
    else:         
        return wordnet.NOUN
       
def lemmatize_passage(text):
    words = word_tokenize(text)
    pos_tags = pos_tag(words)
    lemmatizer = WordNetLemmatizer()
    lemmatized_words = [lemmatizer.lemmatize(word, get_wordnet_pos(tag)) for word, tag in pos_tags]
    lemmatized_sentence = ' '.join(lemmatized_words)
    return lemmatized_sentence
 
text = "There is nothing either good or bad but thinking makes it so."
result = lemmatize_passage(text)
 
print("Original:", text)
print("Tokenized:", word_tokenize(text))
print("Lemmatized:", result)

Kode mengembalikan:

Original: There is nothing either good or bad but thinking makes it so.
Tokenized: ['There', 'is', 'nothing', 'either', 'good', 'or', 'bad', 'but', 'thinking', 'makes', 'it', 'so', '.']
Lemmatized: There be nothing either good or bad but think make it so .

WordNetLemmatizer, seperti halnya Snowball stemmer, mengurangi konjugasi kata kerja menjadi bentuk dasar—misalnya thinking menjadi think, makes menjadi make. Namun, tidak seperti algoritma stemming Snowball, lemmatizer mengidentifikasi nothing sebagai kata benda, dan secara tepat membiarkan akhiran -ing tidak diubah sementara lebih lanjut mengubah is ke bentuk dasarnya be. Dengan cara ini, lemmatizer lebih tepat dalam mengubah bentuk kata kerja yang tidak beraturan.

Stemming dan lematisasi terutama mendukung normalisasi data teks bahasa Inggris. Kedua teknik normalisasi teks ini juga mendukung beberapa bahasa aksara Romawi lainnya, seperti Prancis, Jerman, dan Spanyol. Skrip lain, seperti bahasa Rusia, lebih lanjut didukung oleh Snowball stemmer. Pengembangan algoritma stemming dan lematisasi untuk bahasa lain, terutama bahasa Arab, merupakan bidang penelitian yang sedang berlangsung. Bahasa Arab sangat menantang karena morfologi aglutinatif, variasi ortografi, dan ambiguitas leksikal, di antara karakteristik lainnya.⁸ Secara keseluruhan, elemen-elemen tersebut menimbulkan masalah bagi metode sistematis untuk mengidentifikasi bentuk kata dasar di antara varian morfologi, setidaknya jika dibandingkan dengan kata-kata dalam bahasa Inggris.

Di luar batasan umum ini, stemming dan lematisasi memiliki kelemahan masing-masing. Seperti yang diilustrasikan pada contoh Hamlet, stemming adalah proses penghapusan string karakter yang relatif heuristik dan berbasis aturan. Over-stemming dan under-stemming adalah dua kesalahan umum yang muncul. Over-stemming terjadi ketika dua kata yang berbeda secara semantik direduksi menjadi akar kata yang sama (misalnya, news menjadi new); under-stemming terjadi ketika dua kata yang berhubungan secara semantik tidak direduksi menjadi akar kata yang sama (misalnya, knavish dan knave menjadi knavish dan knave).⁹ Selain itu, stemming hanya menghilangkan sufiks dari kata-kata sehingga tidak dapat menjelaskan bentuk kata kerja yang tidak beraturan atau awalan seperti yang dilakukan oleh lematisasi. Tentu saja, stemming relatif sederhana dan mudah diimplementasikan, sementara lematisasi bisa jadi lebih mahal secara komputasi dan memakan waktu, tergantung pada ukuran data yang diproses.