Apa itu question answering?

Jawaban pertanyaan (Question Answering/QA) adalah cabang ilmu komputer dalam pemrosesan bahasa alami (NLP) dan pengambilan informasi, yang fokus pada pengembangan sistem yang dapat menjawab pertanyaan yang diajukan dalam bahasa alami dengan menggunakan bahasa alami juga. Sistem ini menentukan konteks di balik pertanyaan, mengekstrak informasi relevan dari data dalam jumlah besar, dan menyajikannya kembali kepada pengguna dengan cara yang ringkas dan mudah dipahami.

Sistem question answering dapat dikategorikan berdasarkan metode mereka dalam menghasilkan jawaban, cakupan pengetahuan yang dimiliki, dan jenis pertanyaan atau format yang dapat mereka tanggapi.

Sistem QA ekstraktif bekerja dengan mengidentifikasi dan mengekstraksi jawaban langsung dari teks atau sumber data yang diberikan. Sistem ini menggunakan teknik seperti named entity recognition dan prediksi rentang untuk menemukan bagian teks yang relevan yang menjawab pertanyaan tertentu.

Misalnya, sistem QA ekstraktif diminta untuk menentukan jumlah populasi suatu negara yang tercantum dalam sebuah dokumen.

Sebaliknya, sistem QA generatif membuat jawaban mereka sendiri dengan menggunakan pengetahuan yang dipelajari selama pelatihan. Sistem ini tidak hanya mengekstrak informasi kata demi kata, tetapi menghasilkan tanggapan yang lebih kreatif dan bernuansa, sering kali dengan mengandalkan model bahasa besar (LLM).

Contoh terkenal dari QA generatif adalah GPT-3 atau ChatGPT milik OpenAI, yang didukung oleh kecerdasan buatan generatif (gen AI).

Cara lain untuk mengklasifikasikan sistem QA adalah berdasarkan ruang lingkup pengetahuan yang mereka miliki. Sistem QA domain terbuka dirancang untuk menjawab pertanyaan tentang hampir semua topik.

Sistem ini mengandalkan pengetahuan umum yang luas dan menggunakan kerangka kerja seperti ontologi untuk mengambil dan mengatur informasi dengan efektif. Mereka sangat cocok untuk aplikasi yang membutuhkan fleksibilitas tinggi, seperti asisten virtual atau mesin pencari.

Sistem QA domain tertutup mengkhususkan diri dalam bidang tertentu, seperti kedokteran, hukum, atau teknik. Mereka menggunakan pengetahuan spesifik dalam domain tersebut untuk memberikan jawaban yang lebih terperinci dan akurat sesuai dengan bidangnya.

Misalnya, sistem QA medis domain tertutup dapat membantu dokter dengan memberikan jawaban atas pertanyaan diagnostik berdasarkan data klinis.

Sistem QA juga dapat dikategorikan sebagai buku tertutup atau buku terbuka, berdasarkan cara mereka mengakses dan menggunakan informasi. Sistem buku tertutup sepenuhnya bergantung pada pengetahuan yang dipelajari selama pelatihan dan tidak mengacu kepada sumber eksternal.

Misalnya, GPT-3 dapat memberikan jawaban tanpa akses real-time ke data. Sebaliknya, sistem buku terbuka dapat mengakses basis pengetahuan eksternal atau sumber data selama operasi, memungkinkan mereka untuk memberikan jawaban yang lebih terkini dan relevan secara kontekstual. Sistem QA terintegrasi mesin pencari adalah contoh umum dari sistem buku terbuka.

Sistem QA dirancang khusus untuk jenis input atau interaksi tertentu. Sistem QA percakapan dapat mempertahankan konteks sepanjang beberapa putaran percakapan, memungkinkan pertukaran yang koheren dan alami. Hal ini membuatnya ideal untuk chatbot dan asisten virtual, di mana kontinuitas dan konteks sangat penting. 

Sistem QA matematis berfokus pada menjawab pertanyaan yang memerlukan penalaran dan perhitungan matematis. Sistem ini harus memahami notasi matematika dan melakukan perhitungan untuk memberikan jawaban, seperti menyelesaikan persamaan atau menerapkan rumus.

Sistem QA visual dirancang untuk menjawab pertanyaan tentang gambar dengan menggabungkan NLP dan teknik visi komputer. Misalnya, jika diberikan gambar sebuah mobil, sistem QA visual dapat menganalisis gambar tersebut dan menjawab pertanyaan seperti, "Apa warna mobilnya?" QA visual memiliki aplikasi di berbagai bidang, termasuk alat aksesibilitas, teks pada gambar, dan mesin pencari multimodal. 

Kumpulan data menyediakan informasi mentah yang diperlukan untuk melatih model, mengevaluasi kinerjanya, dan mengukur kemajuan di lapangan. Kumpulan data QA umumnya terdiri atas pertanyaan yang dipasangkan dengan jawaban yang relevan, yang sering kali diambil dari konteks tertentu seperti dokumen, basis pengetahuan, atau set data terstruktur.

Model QA menggunakan data pelatihan berkualitas tinggi untuk mencocokkan pertanyaan dengan jawaban yang tepat dan mengidentifikasi pola dalam kumpulan data. Proses ini memungkinkan model untuk menggeneralisasi dari contoh yang telah dipelajari ke pertanyaan baru yang belum pernah ditemui sebelumnya.

Kumpulan data juga berfungsi sebagai tolok ukur yang memungkinkan peneliti dan praktisi membandingkan kemampuan model QA yang berbeda. Model dasar sering digunakan sebagai titik acuan untuk mengukur efektivitas sistem baru atau sistem canggih terhadap standar kinerja yang telah ditetapkan.  

Kumpulan data yang berbeda dirancang untuk menguji berbagai aspek sistem QA. Misalnya, beberapa kumpulan data menilai kemampuan sistem dalam menjawab pertanyaan dari berbagai sumber, sementara yang lain fokus pada pemahaman pertanyaan yang kompleks atau ambigu.

Beberapa kumpulan data menguji penalaran multihop, di mana sistem harus menggabungkan informasi dari berbagai dokumen atau bagian untuk menghasilkan jawaban. Beberapa kumpulan data bahkan menyertakan pertanyaan yang tidak memiliki jawaban, yang menantang model untuk memberikan respons meskipun tidak ada jawaban yang jelas di antara sumber-sumber yang ada.

Ketersediaan kumpulan data yang beragam dan dirancang dengan cermat telah secara signifikan memajukan bidang QA. Dengan memberikan tantangan yang lebih kompleks dan bervariasi, kumpulan data ini telah mendorong pengembangan model yang lebih canggih dan kuat, yang mampu menangani berbagai skenario dunia nyata.

Metrik evaluasi menyediakan cara standar untuk mengukur kinerja, memungkinkan pengembang mengidentifikasi area yang perlu diperbaiki dan menyempurnakan model mereka. Dengan memberikan insight yang objektif dan terukur, metrik ini lebih dari sekadar penilaian subjektif dan membantu menilai seberapa efektif sistem QA dalam menjawab pertanyaan.

Metrik memainkan peran penting dalam mengidentifikasi kekuatan dan kelemahan sistem QA, serta membantu pengembang memfokuskan upaya mereka untuk meningkatkan aspek-aspek tertentu dari sistem.

Dengan menggunakan tolok ukur yang konsisten, seperti Stanford Question Answering Dataset (SQuAD), peneliti dapat menilai bagaimana model mereka dibandingkan dengan model lain di lapangan. Tolok ukur ini tidak hanya memastikan perbandingan yang adil, tetapi juga membantu melacak kemajuan dan menyoroti teknik-teknik yang paling efektif untuk mengembangkan teknologi QA.

Metrik evaluasi membantu mencegah overfitting, yang merupakan tantangan umum dalam machine learning. Dengan menguji model pada kumpulan data terpisah, pengembang dapat memverifikasi bahwa sistem mereka dapat menggeneralisasi dengan baik ke data baru yang belum pernah dilihat, alih-alih hanya menghafal data pelatihan.

Selain itu, metrik dapat mengungkap keterbatasan sistem saat ini. Misalnya, kinerja model yang buruk dapat menunjukkan area yang perlu diteliti lebih lanjut. Upaya berkelanjutan untuk mencapai skor yang lebih baik mendorong pengembangan model QA yang lebih canggih, yang mampu menangani tugas dan kumpulan data yang semakin kompleks.

Keandalan adalah aspek penting lainnya dalam metrik evaluasi. Metrik ini menyediakan cara untuk memvalidasi keakuratan jawaban sistem QA dan meminimalkan kesalahan. Selain itu, metrik juga membantu dalam pengembangan model berulang dengan memberikan masukan tentang kinerja sistem dan membantu pengembang melakukan fine tuning komponen-komponennya untuk mencapai hasil yang optimal.

Metrik yang berbeda memenuhi kebutuhan yang berbeda dalam sistem QA. Misalnya, beberapa metrik fokus pada kecocokan yang tepat antara jawaban, sementara yang lain mengukur sejauh mana respons yang diprediksi tumpang tindih dengan jawaban yang sebenarnya.

Perbedaan ini membantu memastikan bahwa proses evaluasi disesuaikan dengan kebutuhan spesifik dari berbagai tugas dan model QA.

• Kecocokan yang tepat (EM): Metrik ini memeriksa apakah jawaban yang diprediksi identik dengan jawaban yang benar. Ini adalah metrik yang ketat, memberikan cara yang jelas untuk menilai apakah sebuah model dapat memberikan jawaban yang benar.
• Skor F1: Skor F1 adalah ukuran seimbang yang mempertimbangkan presisi (seberapa banyak jawaban prediksi yang benar) dan recall (seberapa banyak jawaban benar yang ditemukan). Skor ini memberikan satu angka yang mencerminkan keakuratan keseluruhan model, dengan memperhitungkan positif palsu dan negatif palsu. Hal ini membuatnya lebih menyeluruh dibandingkan dengan kecocokan tepat (EM), yang hanya memeriksa kecocokan sempurna.
• Relevansi: Bergantung pada arsitektur sistem dan metode pengambilan data, sebuah model dapat menilai seberapa besar kemungkinan dokumen tertentu relevan dengan kueri yang diberikan.

Namun, metrik yang ada mungkin belum sepenuhnya mencerminkan kompleksitas dalam memahami dan menjawab pertanyaan dengan efektif.

• Pemahaman kontekstual: Meskipun metrik dapat mengukur apakah model memberikan jawaban yang benar, metrik tersebut tidak selalu mencerminkan sejauh mana sistem memahami konteks keseluruhan pertanyaan.
• Penalaran dan sintesis: Beberapa tugas menjawab pertanyaan memerlukan penalaran dan penggabungan informasi dari berbagai bagian teks, yang sulit dievaluasi hanya dengan menggunakan metrik sederhana.
• Subjektivitas: Beberapa pertanyaan mungkin memiliki lebih dari satu jawaban yang benar, sehingga evaluasi untuk jenis pertanyaan ini bisa bersifat subjektif.
• Tidak ada jawaban: Pada beberapa kumpulan data, ada pertanyaan yang tidak dapat dijawab berdasarkan informasi yang tersedia, dan sistem perlu mampu mengenali hal ini. Metrik telah dikembangkan untuk menangani pertanyaan yang tidak memiliki jawaban.
• Kata-kata di luar kosakata: Metrik mungkin tidak sepenuhnya mencerminkan kinerja sistem dalam menangani kata-kata yang tidak ada dalam kosakata sistem.

Meskipun ada tantangan ini, metrik evaluasi tetap penting untuk menilai efektivitas sistem QA. Metrik ini membantu pengembang mengukur seberapa baik sistem menjawab pertanyaan dan mengidentifikasi area yang perlu perbaikan. Karena model QA dilatih menggunakan data yang dihasilkan manusia, ketidakakuratan atau bias dalam data dapat menyebabkan jawaban yang bias, meskipun model mendapatkan skor tinggi pada metrik evaluasi.

Kekhawatiran lainnya adalah potensi model untuk "menipu" dengan memanfaatkan bias statistik dalam kumpulan data. Misalnya, model mungkin belajar mengaitkan kata kunci tertentu dalam pertanyaan dengan jawaban tertentu tanpa benar-benar memahami maksud kueri tersebut.

Untuk mengatasi masalah ini, beberapa kumpulan data menyertakan pertanyaan yang ditulis tanpa mengizinkan akses ke teks sumber yang sesuai selama pembuatannya. Pendekatan ini mengurangi kemungkinan model mengandalkan pola dangkal alih-alih pemahaman yang bermakna.

Sistem penjawab pertanyaan menghadapi beberapa tantangan operasional yang berdampak pada efektivitasnya. Salah satu rintangan utama adalah memahami makna dan maksud di balik sebuah pertanyaan. Hal ini tidak hanya melibatkan penafsiran kata-kata, tetapi juga memahami tujuan pertanyaan, bahkan ketika pertanyaan tersebut diucapkan secara ambigu atau tidak jelas.

Sistem QA harus menangani struktur bahasa yang kompleks, membedakan antara kata atau frasa yang terdengar mirip, dan mengenali variasi makna yang halus.

Pertanyaan dapat diungkapkan dengan berbagai cara, disajikan sebagai kueri multisentensi atau kurang jelas, menuntut kemampuan natural language understanding tingkat lanjut.

Tantangan penting lainnya terletak pada pengambilan informasi yang relevan secara efisien dari sejumlah besar data. Sistem QA harus menggunakan teknik pencarian informasi yang canggih, seperti analisis semantik dan ekstraksi informasi, untuk mengidentifikasi sumber-sumber yang relevan dan menentukan jawaban yang spesifik.

Banyaknya volume data yang diproses oleh sistem ini, yang sering kali mencakup kumpulan data yang sangat besar, menambah kerumitan dalam mengelola sistem ini.

Sistem QA juga membutuhkan mekanisme yang kuat untuk mewakili dan mengatur pengetahuan. Teknik seperti ontologi dan jaringan semantik memungkinkan model untuk mengkategorikan dan menghubungkan konsep, meningkatkan kemampuan mereka untuk memahami bagaimana kata dan ide terhubung dalam kalimat atau di seluruh kumpulan data.

Tokenisasi kata, misalnya, memecah teks menjadi unit yang lebih kecil dan dapat dianalisis, membantu sistem lebih memahami hubungan antara kata-kata dan konteksnya.

Penalaran kontekstual menghadirkan lapisan kompleksitas lain. Selain memahami pertanyaan itu sendiri, sistem QA harus mempertimbangkan konteks yang lebih luas, mensintesis informasi dari berbagai sumber atau dokumen untuk memberikan jawaban yang tepat.

Hal ini memerlukan model untuk mengevaluasi hubungan antara titik data dan menarik kesimpulan yang berarti berdasarkan interkoneksinya.

Akhirnya, memverifikasi keakuratan jawaban sangat penting untuk sistem QA. Mereka harus mengevaluasi secara kritis keandalan sumber mereka dan memperhitungkan potensi bias dalam data.

Hal ini melibatkan referensi silang informasi, mengidentifikasi ketidakkonsistenan, dan membantu memastikan bahwa tanggapan didukung oleh bukti yang kredibel. 

Aplikasi sistem QA beragam, mencakup industri dan contoh penggunaan, dengan fokus pada otomatisasi pengambilan informasi dan memberikan tanggapan cepat dan akurat terhadap kueri bahasa alami.  

Salah satu aplikasi yang menonjol adalah dalam layanan pelanggan, di mana sistem QA merampingkan operasi dengan mengotomatiskan tanggapan terhadap pertanyaan yang sering diajukan menggunakan basis pengetahuan. Metode ini meningkatkan efisiensi dan meningkatkan kepuasan pelanggan dengan memberikan jawaban instan dan konsisten.

Demikian pula, dalam dukungan teknis, sistem QA menawarkan kepada karyawan dan pelanggan akses langsung ke informasi yang relevan, mengurangi waktu tunggu dan meningkatkan produktivitas. Asisten virtual juga mendapat manfaat dari kemampuan QA, yang memungkinkan mereka memahami dan menanggapi pertanyaan pengguna secara lebih efektif melalui bahasa alami.

Dalam penelitian dan pendidikan, sistem QA menghasilkan laporan, membantu penelitian, dan mendukung upaya pemeriksaan fakta. Sistem ini membantu siswa dengan memberikan jawaban sesuai permintaan untuk pertanyaan pendidikan dan menawarkan dukungan real-time.

Mereka juga digunakan dalam penilaian akademis, seperti menilai tugas atau mengevaluasi jawaban dalam ujian universitas, dengan menafsirkan teks dan memberikan tanggapan berdasarkan informasi spesifik.

Dalam fungsi mesin pencari, sistem QA meningkatkan pengalaman pengguna dengan memberikan jawaban instan yang langsung relevan dengan pertanyaan pengguna. Alih-alih hanya memberikan daftar halaman web terkait, sistem pencarian modern menggunakan teknologi QA untuk mengekstrak informasi spesifik dari dokumen, menawarkan pengguna tanggapan ringkas dan dapat ditindaklanjuti.

Juga, sistem QA semakin diterapkan pada tugas-tugas organisasi internal. Mereka memfasilitasi pemrosesan informasi yang efisien dalam repositori besar rekam medis, dokumen perbankan, dan catatan perjalanan.

Dengan memungkinkan pencarian yang cepat dan tepat melalui data terstruktur dan tidak terstruktur, sistem ini menghemat waktu dan meningkatkan pengambilan keputusan di lingkungan profesional. 

Menerapkan sistem QA yang efektif membutuhkan perencanaan dan pelaksanaan yang cermat di berbagai tahap, dimulai dari pengumpulan data dan prapemrosesan. Sistem ini melibatkan pengumpulan korpus data teks yang besar dan beragam dari berbagai sumber seperti artikel berita, buku, dan basis data.

Data harus dibersihkan untuk menghapus konten yang tidak relevan, distandarisasi melalui stemming atau lemmatisasi dan diberi token menjadi kata atau frasa individual. Terkadang, anotasi manusia membuat pasangan pertanyaan-jawaban atau menerjemahkan kumpulan data yang ada ke dalam bahasa lain.

Kumpulan data yang berkualitas tinggi, dihasilkan manusia biasanya menghasilkan kinerja yang lebih baik daripada yang diterjemahkan mesin, menggarisbawahi pentingnya kualitas kumpulan data.

Pengambilan informasi adalah komponen penting lain dari sistem QA. Algoritma dikembangkan untuk mengekstrak informasi yang relevan dari korpus teks sebagai tanggapan atas pertanyaan pengguna.

Teknik seperti pencarian kata kunci, klasifikasi teks, dan named entity recognition membantu mempersempit dokumen yang relevan. Untuk mengoptimalkan efisiensi, model pemeringkatan bagian dapat memprioritaskan dokumen yang kemungkinan berisi jawaban sebelum menerapkan model QA yang memerlukan komputasi yang lebih intensif.

Arsitektur yang umum adalah pipeline retriever-pembaca, di mana retriever mengidentifikasi subset dokumen yang relevan dan pembaca mengekstrak atau menghasilkan jawaban spesifik. Pengambilan bagian yang padat, yang menggunakan pembelajaran mendalam untuk pengambilan, adalah pendekatan yang menjanjikan yang meningkatkan kecepatan dan akurasi.

Pertimbangan lain dalam desain sistem QA adalah ukuran jendela konteks, yang menentukan jumlah informasi yang dapat diproses oleh model sekaligus. Misalnya, model seperti IBM Granite-3, dengan jendela konteks 128.000 token, dapat menangani dokumen besar secara efisien.

Saat memproses kumpulan data yang luas, saluran retriever-reader memainkan peran penting, memungkinkan sistem untuk menyaring dokumen yang tidak relevan sebelum mengekstrak jawaban, sehingga mempertahankan efisiensi dan akurasi.

Penelitian dan tren terkini dalam sistem tanya jawab berfokus pada peningkatan kemampuan sistem untuk menangani tugas yang kompleks dan beragam sekaligus meningkatkan efisiensi dan ketahanan. Area pengembangan yang utama adalah tanya jawab domain terbuka, di mana sistem menjawab pertanyaan tentang hampir semua topik dengan menggunakan ontologi umum dan pengetahuan dunia.  

QA multibahasa adalah tren signifikan lainnya, dengan model seperti XLM-Roberta yang menunjukkan kemampuan untuk menangani beberapa bahasa secara bersamaan sambil mempertahankan kinerja yang setara dengan sistem satu bahasa.

Pengembangan sistem QA multibahasa sangat penting untuk aplikasi global, memungkinkan aksesibilitas di berbagai bahasa dan komunitas.

Demikian pula, munculnya sistem QA multimodal menandai pergeseran transformatif, yang memungkinkan sistem untuk memproses dan mengintegrasikan informasi dari teks, gambar, dan audio.

Kemampuan ini khususnya sangat berharga untuk tugas menjawab pertanyaan tentang konten gambar atau video, memungkinkan pemahaman yang lebih komprehensif dan kemampuan untuk memberikan jawaban yang lebih kaya dan lebih canggih.

Upaya juga sedang dilakukan untuk meningkatkan arsitektur model untuk kinerja dan efisiensi yang lebih baik. Model berbasis Transformer seperti BERT, yang mengandalkan prapelatihan ekstensif untuk menangkap pemahaman bahasa yang bernuansa—yang dapat diakses secara luas melalui platform seperti Hugging Face—telah meningkatkan sistem QA dengan meningkatkan akurasi secara signifikan, sehingga dapat digunakan untuk aplikasi dunia nyata.  

Penelitian saat ini mengeksplorasi metode untuk mengurangi tuntutan komputasi model-model ini melalui teknik seperti distilasi model, yang melatih jaringan yang lebih kecil dan lebih efisien untuk mereplikasi kinerja model yang lebih besar.

Selain itu, kumpulan data baru dirancang untuk lebih menantang sistem QA dengan memperkenalkan tugas-tugas yang memerlukan penalaran multi-langkah, menangani pertanyaan-pertanyaan yang ambigu atau tidak dapat dijawab, dan mengalamatkan pertanyaan-pertanyaan yang lebih kompleks.

Perbaikan dalam metode pengambilan adalah area fokus lainnya. Sistem QA modern sering kali menggunakan pendekatan dua tahap, yang terdiri atas retriever untuk mengidentifikasi dokumen yang paling relevan dan reader, biasanya dibangun dengan arsitektur berbasis encoder, untuk mengekstrak jawaban dari dokumen-dokumen ini.

Inovasi mencakup pengambilan jalur padat, yang menggunakan pembelajaran mendalam untuk proses pengambilan, terbukti efektif dalam meningkatkan kecepatan dan akurasi. Hal ini khususnya penting untuk meningkatkan skala sistem QA agar dapat beroperasi secara efisien pada kumpulan data yang besar.

Interaktivitas juga menjadi fitur utama dari sistem QA generasi berikutnya. Para peneliti sedang mengembangkan model penjawab pertanyaan yang dapat melakukan klarifikasi, menyempurnakan pemahaman mereka terhadap pertanyaan yang ambigu, menggunakan kembali jawaban sebelumnya, dan menyajikan jawaban dalam format yang lebih rinci dan intuitif.