Apa itu Natural Language Understanding (NLU)?

NLU memungkinkan organisasi untuk menyaring insight dari data yang tidak terstruktur, seperti bahasa lisan atau input dalam bahasa alami. Melalui NLU, komputer juga dapat berkomunikasi dengan pengguna yang tidak terlatih tanpa menggunakan bahasa pemrograman.  

Karena bahasa manusia sangat bernuansa, kompleks, dan penuh ambiguitas, NLU merupakan tantangan machine learning yang berat bagi para ilmuwan dan insinyur komputer yang bekerja dengan model bahasa besar (LLM). Sistem NLU memungkinkan komputer untuk memahami seluk-beluk bahasa lisan dan tulisan—nuansa halus, struktur kalimat yang rumit, penggunaan kata yang berpotensi membingungkan, bahasa gaul dan dialek, dan lain-lain.  

Karena munculnya AI generatif dan penggunaannya dalam chatbot konsumen, penjawab pertanyaan, penerjemahan mesin, dan aplikasi lainnya, NLU menerima investasi komersial yang cukup besar. Tanpa NLU, chatbot interaktif seperti ChatGPT mungkin tidak ada. NLU adalah alasan chatbot AI generatif dapat melakukan percakapan dengan pengguna yang terasa realistis dan alami.

NLU adalah jenis pemrosesan bahasa alami (NLP), bidang yang lebih luas yang memungkinkan komputer untuk memahami dan berkomunikasi dalam bahasa manusia. Selain fokus NLU pada pemahaman makna, tugas NLP mencakup pemetaan elemen linguistik seperti sintaksis, definisi kata, dan kelas kata. 

Sebelum pengembangan NLP, pengguna akan berkomunikasi dengan komputer melalui bahasa pemrograman seperti Python dan C++. Sementara pengodean masih menggunakan bahasa pemrograman, aplikasi perangkat lunak no-code memungkinkan pengguna untuk langsung memberi instruksi ke komputer dengan bahasa alami. 

NLP muncul dari bidang ilmu komputer linguistik komputasi, yang menggunakan komputer untuk menganalisis bahasa. Pengenalan algoritma machine learning dan model pembelajaran mendalam memungkinkan komputer untuk memenuhi tugas-tugas yang berhubungan dengan bahasa, seperti pengenalan suara dan pembuatan konten. 

Natural language generation (NLG) adalah cara komputer secara otomatis menghasilkan konten dalam bahasa manusia—seperti saat chatbot memberikan ringkasan teks atau melakukan percakapan dengan pengguna. NLG biasanya dipasangkan dengan NLU. Model pembelajaran mendalam menerima input bahasa alami, mengubahnya menjadi data yang dapat digunakan dengan NLP, termasuk NLU, kemudian menghasilkan respons dengan NLG yang dapat dipahami pengguna. 

NLP, NLG dan NLU semuanya terkait, dan NLP adalah disiplin menyeluruh yang mencakup dua proses lainnya tersebut. NLG adalah proses yang memungkinkan chatbots seperti ChatGPT, bot dukungan pelanggan kontemporer, dan asisten suara seperti Amazon Alexa untuk tampak seperti manusia saat berinteraksi dengan pengguna.

Natural Language Understanding bekerja dengan menggunakan machine learning untuk mengubah ucapan tidak terstruktur atau bahasa tertulis menjadi model data terstruktur yang mewakili konten dan maknanya. Sistem NLU menerapkan analisis sintaksis untuk memahami kata-kata dalam sebuah kalimat dan analisis semantik untuk memproses makna dari apa yang dikatakan. 

Teknik pembelajaran yang diawasi untuk algoritma NLU melibatkan pemberian data pelatihan berlabel ke algoritma tersebut. Metode ini secara eksplisit memandu algoritma untuk memahami nuansa linguistik—misalnya, jika menggunakan homonim mean dalam konteks statistik dan bukan dalam konteks penilaian kepribadian. 

Teknik Pembelajaran tanpa pengawasan menunjukkan kumpulan data besar yang tidak berlabel ke algoritma, dengan tujuan agar algoritma menemukan hubungan dan pola yang mendasarinya. Model NLU kontemporer biasanya dilatih dengan kombinasi metode yang diawasi dan tidak diawasi. 

Mekanisme utama yang memungkinkan NLU meliputi: 

• Tokenisasi dan penyematan

• Pengenalan entitas bernama (Named entity recognition atau NER) 

• Pengenalan maksud

Tokenisasi di NLU adalah penggunaan machine learning untuk mengelompokkan teks tidak terstruktur menjadi bagian-bagian yang lebih kecil yang kemudian dapat dianalisis lebih lanjut. Setiap segmen yang dihasilkan dikenal sebagai token. Algoritma Penyematan mengubah setiap token menjadi representasi numerik yang kemudian diplot ke ruang vektor tiga dimensi untuk memetakan hubungan antara token. 

NLU kontemporer biasanya menggunakan model berbasis transformator, seperti GPT, karena model tersebut unggul dalam menangkap dependensi antar token. Dependensi adalah hubungan jarak jauh antara token yang jauh dalam urutan. Menangkap ketergantungan dengan benar memungkinkan komputer mempertahankan pemahaman kontekstual di seluruh urutan input yang panjang.

Named Entity Recognition (NER) adalah teknik ekstraksi informasi yang mengidentifikasi dan mengklasifikasikan entitas bernama, atau objek dunia nyata, dalam data teks. Entitas bernama dapat bersifat fisik, seperti orang, tempat dan item, atau abstrak, seperti tanggal atau usia dan nomor telepon seseorang.

Pengenalan maksud memberi tahu algoritma NLU tentang apa yang ingin dilakukan oleh pengguna. Mesin pencari menggunakan pengenalan maksud untuk memberikan hasil yang relevan dengan kueri yang sesuai, tidak hanya secara faktual, tetapi juga memberikan informasi yang diinginkan pengguna. 

Misalnya, pencarian untuk “chicken tikka masala” kemungkinan menghasilkan daftar resep. Tetapi bagaimana jika pengguna mengetikkan "chicken tikka masala di dekat saya?" Pengenalan maksud memberi tahu mesin pencari bahwa pengguna tidak ingin memasak chicken tikka masala sendiri, tetapi ingin menikmati hidangan tersebut di restoran lokal.

Aplikasi NLU mencakup berbagai contoh penggunaan di mana komputer perlu berkomunikasi langsung dengan manusia atau memproses data bahasa manusia. Contoh penggunaan pemahaman bahasa alami meliputi: 

• Analisis sentimen

• Maksud pengguna 

• Terjemahan mesin 

• Dukungan pelanggan

• Pengenalan ucapan 

• Klasifikasi teks

• Agen virtual

Analisis sentimen adalah pengaplikasian model machine learning untuk mengidentifikasi suasana hati dan emosi dalam konten. Sebagai contoh, peneliti dapat menggunakan analisis sentimen pada postingan media sosial dan ulasan pengguna untuk mengidentifikasi perasaan pengguna terhadap suatu merek. Informasi yang mereka pelajari dapat diterapkan pada pengembangan produk di masa mendatang, penyesuaian harga, dan perubahan lainnya. 

Mesin pencari menggunakan NLU untuk memberikan jawaban yang lebih relevan. Prinsip yang sama berlaku untuk situs web dengan fungsi pencarian—misalnya, situs web e-commerce berpotensi meningkatkan penjualan dengan menampilkan item yang paling relevan sebagai respons terhadap pencarian pengguna. Optimasi hasil pencarian kemungkinan akan membuat lebih banyak pengguna terus menggunakan mesin pencari atau melakukan pembelian.

Terjemahan mesin adalah penggunaan komputer untuk melakukan penerjemahan bahasa secara otomatis. Contohnya, bayangkan aplikasi mobile yang menerjemahkan antara bahasa Inggris lisan dan Spanyol secara real time. Pengguna berbahasa Spanyol dapat menggunakan aplikasi semacam itu untuk berkomunikasi dengan penutur bahasa Inggris sekaligus memahami apa pun yang dikatakan dalam bahasa Inggris di sekitar mereka. 

Chatbot dukungan pelanggan telah berkembang lebih canggih seiring dengan peningkatan AI generatif. NLU memungkinkan chatbot untuk terlibat dalam percakapan seperti manusia dengan pengguna, dan organisasi makin banyak menerapkan chatbot untuk layanan pelanggan dan menjawab pertanyaan umum. Sementara itu, personel manusia melengkapi pengalaman pelanggan dengan menangani masalah yang terlalu rumit untuk ditangani oleh AI. 

Penggunaan chatbot dukungan pelanggan adalah salah satu contoh bagaimana kemajuan AI, termasuk NLU, telah merampingkan alur kerja dan menghasilkan lebih banyak otomatisasi alur kerja.

Sistem NLU membantu pengguna berkomunikasi secara verbal dengan perangkat lunak, seperti sistem perutean otomatis yang dijumpai saat menelepon perusahaan besar. Daripada berulang kali menekan 0 hingga sistem meneruskan panggilan ke manusia, penelepon dapat mengatakan, "berbicara dengan manusia." Dengan menggunakan NLU, perangkat lunak ini dapat mengubah permintaan yang diucapkan pengguna menjadi data terstruktur secara real time dan mentransfer panggilan. 

Organisasi telah mulai menerapkan agen virtual sebagai bagian dari pengalaman pelanggan yang lebih besar. Model-model ini dapat berinteraksi langsung dengan pengguna—menggunakan NLU dan NLG untuk memfasilitasi interaksi—dan bertindak atas nama pengguna dan organisasi. Asisten virtual seperti Alexa dan Siri juga menggunakan NLU untuk memenuhi permintaan pengguna.