Apa itu Natural Language Generation (NLG)?

Sistem NLG sudah digunakan secara luas di produk perusahaan dan konsumen, seperti alat intelijen bisnis (BI) dan chatbot. Asisten suara berkomunikasi dengan pengguna melalui NLG.

Para pemimpin bisnis menggunakan NLG untuk mengubah data yang kompleks menjadi teks yang dihasilkan untuk menyaring insight utama. Setiap kali model AI menghasilkan output dalam bahasa manusia, itulah NLG yang bekerja. 

2 jenis utama NLG adalah ekstraktif dan abstraktif: 

• NLG ekstraktif menarik kata dan frasa yang tepat langsung dari teks sumber. Ini digunakan dalam kasus di mana kata-kata tertentu sangat penting, seperti pada dokumen hukum. Dibandingkan dengan NLG abstraktif, NLG ekstraktif lebih sederhana karena menyalin dari dokumen sumber dan tidak menghasilkan konten baru. 

• NLG abstraktif menciptakan output baru berdasarkan dokumen sumber, memarafrasakan, dan menghasilkan konten baru. Ini adalah proses lebih kompleks yang membutuhkan model yang lebih canggih, seperti transformator. Sementara NLG ekstraktif lebih disukai dalam pengaturan teknis, NLG abstraktif efektif dalam aplikasi yang lebih kreatif.

NLG bekerja melewati proses dengan banyak tahap untuk menyempurnakan input data terstruktur dan tidak terstruktur dan menghasilkan output bahasa alami. Seperti yang dijelaskan oleh ilmuwan komputer Ehud Reiter,¹ tahapan dalam proses NLG pada umumnya adalah: 

• Analisis sinyal: Sistem NLG menentukan data input mana yang diperlukan untuk output akhir. Pada tahap analisis sinyal atau data, pengenalan pola mengidentifikasi pokok bahasan konten dan hubungan antara topik. Data input mencakup prompt pengguna, konten basis data, dan konten bahasa tidak terstruktur seperti PDF, dokumen, dan rekaman bahasa lisan. Pengenalan entitas membantu sistem NLP memahami apa yang sedang dibahas. 

• Interpretasi data: Model NLP menghasilkan insight dari hasil tahap analitik data. Jika data sudah diproses sebelumnya dengan insight yang tersedia, langkah ini akan dilewati. Sistem NLP mengidentifikasi bagian-bagian dari ucapan dan menggunakan NLU untuk menilai sintaksis dan semantik, sehingga menciptakan pemahaman tentang makna. 

• Perencanaan dokumen: Tahap ini mengidentifikasi informasi apa yang akan disampaikan dan cara memformatnya. Sistem NLG menentukan pendekatannya untuk output akhir, tergantung pada data yang tersedia dan prompt. 

• Perencanaan mikro: Setelah menentukan konten dan format untuk komunikasi, sistem NLG merencanakan struktur kalimat dan paragraf untuk output akhir. 

• Realisasi permukaan: Sistem NLG menerapkan rencananya dan menghasilkan output bahasa alami sesuai dengan hasil dari langkah-langkah sebelumnya. 

NLG adalah bagian dari disiplin ilmu komputer pemrosesan bahasa alami (NLP): penggunaan model machine learning (ML) untuk memahami dan bekerja dengan bahasa manusia.

NLG adalah bagian dari NLP yang berkaitan dengan pembuatan konten, khususnya dalam menghasilkan bahasa tulisan atau lisan yang baru. Misalnya, chatbot AI percakapan menggunakan NLG untuk menanggapi input pengguna secara real-time. 

NLP mengubah input bahasa alami menjadi data dan NLG menggunakan data untuk menghasilkan output bahasa alami. 

NLP adalah bagian dari bidang linguistik komputasi: studi tentang bagaimana komputer menganalisis dan memahami bahasa manusia. NLP adalah linguistik komputasi dalam praktiknya.

Pengembangan pembelajaran mendalam dan model bahasa besar (LLM) memungkinkan kemajuan dalam NLP untuk mendukung banyak aplikasi AI generatif yang menangani pembuatan konten.

Natural language understanding (NLU) adalah bagian lain dari NLP. Alih-alih berfokus pada makna tata bahasa dan linguistik, NLU mencoba memahami bahasa manusia secara holistik. NLU menggunakan analisis semantik dan sintaksis untuk memahami input bahasa alami sepenuhnya dan menurut konteks, termasuk emosi, sentimen, dan maksud. 

NLU memungkinkan komputer untuk memahami input bahasa alami dalam cara yang lebih dekat dengan cara manusia. Ketika orang berbicara satu sama lain, mereka memproses lebih dari sekadar definisi kata-kata yang digunakan. Komputer secara alamiah dapat memahami makna yang lebih dalam di balik kata-kata harfiah pembicara. 

Ketika menawarkan opsi teks prediktif, aplikasi perangkat lunak menggunakan NLU untuk memahami maksud pengguna, kemudian menerapkan NLG untuk menyelesaikan kalimat. NLP, NLU, dan NLG bekerja sama untuk membantu komputer berkomunikasi dengan pengguna.

Banyak sistem NLG menggunakan model AI canggih seperti transformator untuk membuat teks baru dari data pelatihan dan input pengguna.

Namun, sebelum model ini dikembangkan, NLG dimungkinkan dengan cara lain. Model dan teknik NLG meliputi: 

• Templat

• Sistem berbasis aturan 

• Algoritma machine learning statistik

• Model pembelajaran mendalam 

• Transformer

Sistem berbasis templat menggunakan templat kalimat yang sudah ditentukan sebelumnya dengan variabel untuk data input. Templat adalah salah satu jenis NLG yang paling awal dan sederhana, sesuai untuk konteks di mana struktur kalimat dan dokumen konsisten. Namun, sistem berbasis templat tidak dapat beradaptasi di luar contoh penggunaan yang telah ditentukan. 

Contoh templat mungkin berupa: Dalam [bulan],[tahun], toko [lokasi] kami menjual [jumlah] unit [item].

Meskipun templat ini unggul dalam melaporkan penjualan berbasis lokasi, tetapi tidak dapat digunakan untuk membuat resep masakan.

Sistem berbasis aturan menghasilkan teks sesuai dengan serangkaian aturan dan logika yang telah ditentukan sebelumnya. Sistem berbasis aturan awal dibuat untuk mencerminkan cara pakar domain berbicara atau menulis. Programer akan mewawancarai para pakar, kemudian membuat aturan yang sesuai untuk pembuatan teks. 

Sistem “jika-maka” adalah contoh umum pemrograman berbasis aturan. Misalnya, perangkat lunak NLG untuk prakiraan cuaca mungkin diinstruksikan untuk menggambarkan cuaca sebagai “di bawah titik beku” jika suhu di bawah 32 derajat Fahrenheit atau 0 derajat Celsius.

Algoritma machine learning statistik, seperti rantai Markov tersembunyi, mengidentifikasi pola dalam kumpulan data besar untuk membuat prediksi dan keputusan dengan data baru.

Mereka menghasilkan contoh baru berdasarkan contoh saat ini. Untuk NLG, rantai Markov dan model statistik lainnya menghasilkan kata-kata yang cenderung saling mengikuti. 

Model statistik lebih fleksibel daripada templat dan sistem berbasis aturan, tetapi membutuhkan data pelatihan dalam jumlah besar.

Model pembelajaran mendalam merupakan kemajuan dalam teknologi AI dibandingkan algoritma statistik dan dapat menghasilkan teks yang tampak lebih alami. Recurrent Neural Networks (RNN) adalah contoh model pembelajaran mendalam yang diterapkan pada NLG.

RNN memproses data berurutan, seperti kata-kata dalam kalimat, dan dapat mentransfer pengetahuan, seperti pada penerjemahan mesin.

Arsitektur model transformator mendukung beberapa teknologi NLG paling efektif yang tersedia. Model berbasis transformator seperti GPT dan BERT menggunakan mekanisme perhatian diri untuk menangkap ketergantungan dengan rentang jauh dalam urutan input untuk pemahaman kontekstual yang lebih baik.

ChatGPT, Claude, dan chatbot yang didukung transformator lainnya dapat menghasilkan output bahasa manusia yang realistis.

NLG ditemukan di seluruh lingkungan AI generatif, di mana pun AI digunakan untuk berkomunikasi secara langsung dengan manusia dalam bahasa alami. Dari Siri hingga analisis sentimen, contoh penggunaan NLG meliputi: 

• Asisten suara: Siri, Alexa, dan asisten suara lainnya menggunakan NLG untuk merespons permintaan pengguna dengan bahasa lisan. Mereka juga menggunakan NLP dan NLU untuk pengenalan ucapan untuk memahami apa yang diinginkan pengguna. 

• Asisten virtual: Chatbot dan asisten virtual menggunakan NLG untuk mengotomatiskan interaksi pelanggan. Banyak organisasi menggunakan asisten virtual untuk mengajukan pertanyaan layanan pelanggan awal sebelum meningkatkan ke perwakilan manusia bila diperlukan. Agen virtual juga berkomunikasi dengan pengguna melalui NLG.

• Penerjemahan mesin: Penerjemahan mesin adalah penggunaan model machine learning untuk menerjemahkan antara bahasa secara otomatis. Sistem NLG menangani pembuatan output dan merampingkan proses penerjemahan yang memakan waktu. Penerjemah manusia dan pakar lokalisasi kemudian dapat memverifikasi dan mengedit output sesuai kebutuhan. 

• Perangkuman dan pelaporan data: Sistem NLG mengubah data yang kompleks menjadi ringkasan dan garis besar yang mudah dipahami. Merampingkan agregasi dan ringkasan artikel dan laporan membuat tugas forecasting lebih efisien. Para pemimpin bisnis menggunakan alat BI yang didukung NLG untuk pengambilan keputusan berbasis data. Perusahaan lain menggunakan AI dan NLG untuk membuat konten ini untuk pelanggan mereka. 

• Pembuatan konten: Kapan pun model AI generatif menghasilkan konten bahasa alami, itulah NLG yang sedang bekerja. Bisnis dapat memilih untuk menggunakan NLG untuk mengotomatiskan deskripsi produk, kampanye pemasaran email, posting media sosial, dan jenis konten bentuk pendek lainnya. 

• Analisis sentimen: Sistem NLG membuat ringkasan teks dan laporan berdasarkan masukan dan komunikasi audiens. Perusahaan dapat menarik konten yang dibuat pengguna dari ulasan produk, platform media sosial, posting forum, dan lokasi online lainnya, kemudian menggunakan NLP dan NLG untuk mengidentifikasi perasaan pengguna.