Apa itu Natural Language Understanding (NLU)?

NLU memungkinkan organisasi mengekstrak insight dari data yang tidak terstruktur, seperti bahasa lisan atau input dalam bahasa alami. Melalui NLU, komputer juga dapat berkomunikasi dengan pengguna yang tidak terlatih tanpa perlu menggunakan bahasa pemrograman.

Karena bahasa manusia sangat bernuansa, kompleks, dan penuh ambiguitas, NLU merupakan tantangan machine learning yang berat bagi ilmuwan dan insinyur komputer yang bekerja dengan model bahasa besar (LLM). Sistem NLU memungkinkan komputer memahami seluk-beluk bahasa lisan dan tulisan — nuansa halus, struktur kalimat yang rumit, penggunaan kata yang berpotensi membingungkan, slang dan dialek, serta hal lainnya.

Seiring kemunculan AI generatif dan penggunaannya dalam chatbot konsumen, question answering, machine translation, dan aplikasi lainnya, NLU menarik investasi komersial yang signifikan. Tanpa NLU, chatbot interaktif seperti ChatGPT mungkin tidak akan ada. NLU merupakan alasan chatbot AI generatif dapat melakukan percakapan dengan pengguna yang terasa realistis dan alami.

NLU merupakan jenis pemrosesan bahasa alami (NLP), yaitu bidang yang lebih luas yang memungkinkan komputer memahami dan berkomunikasi dalam bahasa manusia. Selain fokus NLU pada pemahaman makna, tugas NLP mencakup pemetaan elemen linguistik seperti sintaksis, definisi kata, dan kelas kata. 

Sebelum hadirnya NLP, pengguna berkomunikasi dengan komputer melalui bahasa pemrograman seperti Python dan C++. Meskipun pengodean masih menggunakan bahasa pemrograman, aplikasi perangkat lunak no-code memungkinkan pengguna memberikan instruksi langsung ke komputer menggunakan bahasa alami.

NLP muncul dari bidang ilmu komputer bernama linguistik komputasi, yang menggunakan komputer untuk menganalisis bahasa. Pengenalan algoritme machine learning dan model deep learning memungkinkan komputer menjalankan tugas yang berhubungan dengan bahasa, seperti speech recognition dan pembuatan konten.

Natural Language Generation (NLG) adalah cara komputer secara otomatis menghasilkan konten dalam bahasa manusia — seperti saat chatbot memberikan ringkasan teks atau melakukan percakapan dengan pengguna. NLG biasanya dipasangkan dengan NLU. Model deep learning menerima input bahasa alami, mengubahnya menjadi data yang dapat digunakan oleh NLP — termasuk NLU — kemudian menghasilkan respons melalui NLG yang dapat dipahami pengguna.

NLP, NLG dan NLU semuanya terkait, dengan NLP sebagai disiplin menyeluruh yang mencakup kedua proses lainnya. NLG merupakan proses yang memungkinkan chatbot seperti ChatGPT, chatbot dukungan pelanggan modern, dan asisten suara seperti Amazon Alexa untuk terasa alami seperti manusia saat berinteraksi dengan pengguna.

Natural Language Understanding bekerja melalui penggunaan machine learning untuk mengubah ucapan tidak terstruktur atau bahasa tulisan menjadi model data terstruktur yang mewakili konten dan maknanya. Sistem NLU menerapkan analisis sintaksis untuk memahami kata dalam suatu kalimat dan analisis semantik untuk memproses makna dari hal yang dikatakan.

Teknik supervised learning untuk algoritme NLU melibatkan pemberian data pelatihan berlabel kepada algoritme tersebut. Metode ini secara eksplisit memandu algoritme untuk memahami nuansa linguistik — misalnya, membedakan homonim mean dalam konteks statistik (rata-rata) dari konteks sifat seseorang (jahat).

Teknik unsupervised learning memaparkan kumpulan data berskala besar yang tidak berlabel kepada algoritme, dengan tujuan agar algoritme tersebut menemukan hubungan dan pola yang mendasarinya. Model NLU modern biasanya dilatih dengan kombinasi metode supervised dan unsupervised.

Mekanisme utama yang memungkinkan NLU meliputi:

• Tokenization dan embedding

• Named Entity Recognition (NER)

• Intent recognition

Tokenization dalam NLU adalah penggunaan machine learning untuk memecah teks tidak terstruktur menjadi bagian yang lebih kecil yang kemudian dapat dianalisis lebih lanjut. Setiap segmen yang dihasilkan dikenal sebagai token. Algoritme embedding mengubah setiap token menjadi representasi numerik yang kemudian diplot ke vector space berdimensi tinggi untuk memetakan hubungan antartoken.

NLU modern biasanya menggunakan model berbasis transformer, seperti GPT, karena model tersebut unggul dalam menangkap dependency antartoken. Long-range dependency adalah keterkaitan makna antara token yang berjarak jauh dalam suatu sequence. Penangkapan dependency secara tepat memungkinkan komputer mempertahankan pemahaman kontekstual pada seluruh sequence input yang panjang.

Named Entity Recognition (NER) adalah teknik ekstraksi informasi yang mengidentifikasi dan mengklasifikasikan entitas bernama, atau objek nyata, dalam data teks. Entitas bernama dapat bersifat fisik, seperti orang, tempat, dan benda, atau abstrak, seperti tanggal, usia, atau nomor telepon seseorang.

Intent recognition memberi tahu algoritme NLU mengenai hal yang ingin dilakukan pengguna. Mesin pencari menggunakan intent recognition untuk menghadirkan hasil yang relevan dengan kueri — tidak hanya secara faktual, tetapi juga dengan memberikan informasi yang benar-benar diinginkan pengguna.

Misalnya, pencarian atas “chicken tikka masala” kemungkinan menghasilkan daftar resep. Namun bagaimana jika pengguna mengetikkan “chicken tikka masala di dekat saya”? Intent recognition memberi tahu mesin pencari bahwa pengguna tidak ingin memasak chicken tikka masala sendiri, melainkan ingin menikmati hidangan tersebut di restoran terdekat.

Aplikasi NLU mencakup berbagai contoh penggunaan yang menuntut komputer untuk berkomunikasi langsung dengan manusia atau memproses data bahasa manusia. Contoh penggunaan Natural Language Understanding meliputi:

• Sentiment analysis

• User intent

• Machine translation

• Dukungan pelanggan

• Speech recognition

• Text classification

• Agen virtual

sentiment analysis adalah penerapan model machine learning untuk mengidentifikasi suasana hati dan emosi dalam konten. Sebagai contoh, peneliti dapat menggunakan sentiment analysis pada unggahan media sosial dan ulasan pengguna untuk mengidentifikasi perasaan pengguna terhadap suatu merek. Informasi yang diperolehnya dapat diterapkan pada pengembangan produk di masa mendatang, penyesuaian harga, dan perubahan lainnya.

Mesin pencari menggunakan NLU untuk menghadirkan jawaban yang lebih relevan. Prinsip yang sama berlaku bagi situs web dengan fungsi pencarian — misalnya, situs web e-commerce berpotensi meningkatkan penjualan melalui penampilan item yang paling relevan sebagai respons terhadap pencarian pengguna. Pengoptimalan hasil pencarian kemungkinan membuat lebih banyak pengguna terus menggunakan mesin pencari atau melakukan pembelian.

Machine translation adalah penggunaan komputer untuk melakukan penerjemahan bahasa secara otomatis. Contohnya, bayangkan aplikasi mobile yang menerjemahkan bahasa Inggris lisan dan bahasa Spanyol secara real-time. Pengguna berbahasa Spanyol dapat menggunakan aplikasi tersebut untuk berkomunikasi dengan penutur bahasa Inggris sekaligus memahami hal apa pun yang dikatakan dalam bahasa Inggris di sekitar mereka.

Chatbot dukungan pelanggan menjadi lebih canggih seiring peningkatan kemampuan AI generatif. NLU memungkinkan chatbot terlibat dalam percakapan yang menyerupai percakapan manusia dengan pengguna, dan organisasi semakin banyak menerapkan chatbot untuk layanan pelanggan dan menjawab pertanyaan umum. Sementara itu, staf manusia melengkapi pengalaman pelanggan melalui penanganan masalah yang terlalu rumit bagi AI.

Penggunaan chatbot dukungan pelanggan merupakan salah satu contoh bagaimana kemajuan AI, termasuk NLU, telah menyederhanakan alur kerja dan menghasilkan otomatisasi alur kerja yang lebih luas.

Sistem NLU membantu pengguna berkomunikasi secara verbal dengan perangkat lunak, seperti sistem perutean otomatis yang dijumpai saat menelepon perusahaan besar. Alih-alih berulang kali menekan 0 hingga sistem meneruskan panggilan ke operator manusia, penelepon dapat mengatakan, “berbicara dengan manusia.” Melalui NLU, perangkat lunak tersebut dapat mengubah permintaan lisan pengguna menjadi data terstruktur secara real-time dan mentransfer panggilan.

Organisasi telah mulai menerapkan agen virtual sebagai bagian dari pengalaman pelanggan yang lebih luas. Agen virtual dapat berinteraksi langsung dengan pengguna — menggunakan NLU dan NLG untuk memfasilitasi interaksi — serta bertindak atas nama pengguna dan organisasi. Asisten virtual seperti Alexa dan Siri juga menggunakan NLU untuk memenuhi permintaan pengguna.