Apa itu pengambilan informasi?

Secara umum, kita dapat mendefinisikan IR sebagai penemuan data tidak terstruktur dalam kumpulan besar untuk memenuhi kebutuhan informasi tertentu.¹ Sistem IR—sistem pengambilan informasi—menyediakan materi untuk menanggapi pertanyaan yang diberikan. Sistem ini mencari kumpulan data untuk item yang relevan dengan kueri pengguna. Sistem ini kemudian menampilkan item tersebut kepada pengguna, biasanya dalam bentuk daftar yang diurutkan berdasarkan perhitungan relevansi.²

Sistem dan teknik IR mendukung berbagai alat pencarian, termasuk mesin pencari web dan katalog perpustakaan digital.

Perlu dicatat bahwa banyak sumber online membandingkan sistem IR dengan pengambilan data: sistem IR berfokus pada pengambilan informasi tidak terstruktur, seperti dokumen teks dan halaman web, sementara pengambilan data berurusan dengan data terstruktur yang biasanya ditemukan dalam sistem manajemen basis data relasional. Dengan menggunakan ekstensi, data dapat diambil menggunakan Structured Query Language (SQL) untuk menjalankan kueri pencarian.

Perbedaan antara Information Retrieval (IR) yang dianggap tidak terstruktur dan non-relasional dengan pencarian data yang bersifat terstruktur dan relasional sebenarnya lebih jelas dibandingkan apa yang sering disampaikan oleh banyak sumber online. Indeks sistem IR, dan dengan demikian struktur, informasi. Sebagai contoh, meskipun secara tradisional IR berfokus pada pengambilan dokumen teks mentah, beberapa sistem IR juga menggunakan XML untuk merepresentasikan dan mengindeks teks. Literatur penelitian sering menggambarkan sistem berbasis XML sebagai cabang dari IR yang dikenal sebagai pengambilan terstruktur atau pengambilan semi-terstruktur.³ Selain itu, literatur telah mengeksplorasi penggunaan model IR berbasis relasional selama beberapa dekade.⁴

Perbedaan antara IR dan pengambilan data menjadi lebih ambigu dibandingkan pemahaman tradisional. Mengingat bahwa data, secara definisi, merupakan bentuk informasi, pengambilan data terstruktur dapat dianggap sebagai salah satu jenis pengambilan informasi.

Perhatikan bahwa IR berbeda dari sistem rekomendasi. Teknik rekomendasi berbasis machine learning—seperti penyaringan kolaboratif dan pemfilteran berbasis konten—dapat dianggap sebagai bentuk penyaringan informasi yang merupakan salah satu sub-tugas dari sistem IR. Namun demikian, sistem IR dan rekomendasi berbeda. Secara tradisional IR membutuhkan kueri dari pengguna, sedangkan mesin rekomendasi biasanya mengambil objek tanpa memerlukan kueri pengguna.⁵

Berbagai model IR merepresentasikan informasi dengan cara yang berbeda. Bentuk representasi dokumen yang dipilih sangat memengaruhi cara model mencari dan mengambil informasi. Namun, teknik umum yang digunakan di seluruh model IR mencakup pengindeksan, pembobotan, dan pemberian masukan relevansi.

Pengindeksan pada dasarnya sama dengan pembuatan metadata.⁶ Banyak orang pernah menjumpai indeks di bagian belakang buku cetak. Indeks ini adalah kumpulan kata-kata yang disusun secara terstruktur dari isi buku, dirancang untuk memudahkan pembaca menemukan bagian tertentu yang berkaitan dengan topik tertentu. Indeks IR serupa. Indeks IR (atau indeks terbalik) adalah struktur data yang bersumber dari sekumpulan dokumen yang dimaksudkan untuk meningkatkan hasil pencarian.⁷

Konstruksi indeks memerlukan penguraian dokumen terlebih dahulu untuk ekstraksi fitur. Misalnya, katakanlah kita membuat sistem IR untuk dokumen berbasis teks. Seperti halnya dalam pemrosesan bahasa alami (NLP), kami menyiapkan kumpulan dokumen menggunakan berbagai teknik preprocessing, seperti tokenisasi dan penghapusan stop words (kata berhenti). Sistem IR mengubah kumpulan dokumen yang telah diproses menjadi struktur data yang terorganisasi. Salah satu struktur tersebut adalah sebuah kamus, di mana setiap dokumen diidentifikasi dengan ID yang terkait dengan kata-kata (atau istilah indeks) yang muncul di dalamnya.⁸ Struktur data potensial lainnya untuk sistem pengambilan teks adalah model ruang vektor, seperti bag of words.⁹ Kedua pendekatan ini menggunakan kata-kata sebagai fitur utama untuk mengekstrak, mengambil, dan memberi peringkat dokumen berdasarkan pertanyaan yang diajukan oleh pengguna.

Bagaimana sistem pencarian menentukan peringkat hasil berdasarkan kecocokan perkiraan atau kecocokan tepat terhadap kueri yang diberikan? Pendekatan pemeringkatan dan pengambilan informasi sangat bergantung pada jenis model pengambilan informasi yang digunakan serta bentuk representasi dokumen dalam sistem tersebut. Namun, istilah indeks memegang peranan penting dalam menentukan peringkat dokumen yang relevan sebagai respons terhadap kueri. Tetapi tidak semua istilah indeks sama. Sistem IR dengan demikian menggunakan metode yang berbeda untuk menimbang istilah indeks sesuai pentingnya yang dirasakan.

Sistem IR yang menggunakan model ruang vektor, seperti bag of words, dapat menggunakan istilah frekuensi dari frekuensi dokumen terbalik (TF-IDF). TF-IDF adalah variasi dari bag of words yang memperhitungkan prevalensi kata di setiap dokumen dalam kumpulan teks. Semakin banyak dokumen di mana kata tertentu muncul, semakin besar TF-IDF mengurangi bobot kata itu. Pendekatan lain termasuk dekomposisi nilai tunggal (SVD) dan analisis semantik laten (LSA), yang terakhir merupakan pendekatan pemodelan topik yang umum.¹⁰

Pendekatan pembobotan semacam ini memengaruhi cara sistem IR menentukan peringkat dokumen sebagai respons terhadap pertanyaan. Namun, setiap jenis model IR memanfaatkan bobot tersebut dengan metode yang berbeda.

Bagaimana sebuah sistem dapat meningkatkan hasil pencariannya? Dengan kata lain, bagaimana sistem dapat melakukan fine tuning lebih lanjut terhadap pencarian pengguna untuk meningkatkan jumlah dokumen relevan yang ditemukan?

Masukan relevansi merupakan teknik umum dalam pengambilan informasi untuk meningkatkan hasil pencarian. Masukan yang relevan melibatkan pengumpulan informasi berdasarkan respons pengguna terhadap hasil pencarian awal. Sistem kemudian menyesuaikan bobot relevansi item berdasarkan tanggapan tersebut. Kemudian menghasilkan hasil pencarian baru yang menggabungkan kueri awal dengan masukan pengguna dari hasil pencarian sebelumnya.

Masukan relevansi biasanya melibatkan tanggapan eksplisit dari pengguna mengenai relevansi dokumen yang diambil. Sebagai alternatif, terdapat masukan implisit, yang menyimpulkan relevansi dokumen berdasarkan perilaku pengguna—seperti tautan situs web yang diklik di halaman hasil pencarian. Masukan yang relevan dan semu mengasumsikan bahwa n dokumen teratas yang diambil dari hasil kueri awal dianggap relevan. Kemudian ia mengumpulkan fitur-fitur tambahan yang umum di seluruh dokumen tersebut untuk memodifikasi kueri lebih lanjut.¹¹

Model pengambilan informasi terdiri atas berbagai jenis. Untuk menjelaskan semuanya secara mendalam memerlukan pembahasan yang jauh lebih luas. Namun, buku teks tentang IR dan ulasan ensiklopedis sering kali menyebutkan tiga pendekatan utama yang umum digunakan: Boolean, aljabar, dan probabilistik.

Model Boolean mungkin merupakan model IR yang paling mudah, bahkan sederhana. Mereka menggunakan struktur kamus istilah indeks seperti yang dijelaskan sebelumnya. Model kemudian memberi peringkat dokumen sesuai dengan keberadaan kata-kata dari kueri pengguna dalam dokumen yang diambil. Misalnya, jika pengguna memberikan kueri, "jazz DAN dancing," model Boolean hanya mengambil dokumen yang berisi kombinasi kata jazz dan dancing. Dengan demikian, model Boolean hanya memperhitungkan ada atau tidak adanya kata dalam dokumen; kecocokan parsial tidak ada dalam sistem pengambilan Boolean. Teknik prapemrosesan teks seperti stemming dan lemmatization dapat mengatasi masalah varian morfologis ini—seperti dokumen yang berisi dance, dances, atau dancer, bukan hanya kueri pengguna yang dancing.

Model Boolean, seperti yang telah disebutkan, hanya memperhitungkan keberadaan atau ketiadaan kata dalam dokumen. Pendekatan biner ini tidak menyediakan mekanisme untuk menentukan tingkat relevansi dokumen terhadap kueri pengguna. Salah satu solusi yang dapat diterapkan adalah memberikan penilaian relevansi berdasarkan frekuensi kemunculan istilah kueri pengguna di dalamnya. Dengan kata lain, semakin banyak dokumen yang menyebutkan jazz dan dancing, semakin relevan model tersebut untuk kueri pengguna. Namun, peningkatan frekuensi istilah tidak selalu menunjukkan relevansi yang lebih besar. Terlepas dari kelemahan potensial ini, model Boolean telah digunakan di banyak sistem IR karena kemudahan implementasinya.¹²

Model Boolean untuk pengambilan dokumen membatasi pencocokan hanya pada kesesuaian penuh, sehingga tidak mendukung pencocokan parsial. Model aljabar dan probabilistik mengatasi keterbatasan ini dengan menetapkan bobot non-biner pada istilah indeks.

Salah satu pendekatan aljabar yang umum adalah model ruang vektor. Dalam pendekatan ini, sistem IR merepresentasikan dokumen dan kueri sebagai vektor dalam ruang vektor multidimensi. Di dalam ruang ini, istilah indeks berfungsi sebagai fitur, dan dokumen serta kueri dari ruang vektor dipetakan berdasarkan keberadaan serta frekuensi yang mengandung istilah indeks. Sistem IR kemudian menghitung tingkat kesamaan antara kueri dan dokumen berdasarkan kedekatan posisi mereka dalam ruang vektor tersebut.

Terdapat banyak metrik yang digunakan untuk mengukur kedekatan dalam model ruang vektor, seperti Jaccard dan perkalian titik. Namun, salah satu metrik yang paling umum digunakan adalah kesamaan kosinus yang dinyatakan dengan rumus:

 $cosine\_similarity(A,B)=\frac{\sum _{i=1}^n{A}_i{B}_i}{\sqrt{\sum _{i=1}^n{A}_{i^2}}\sqrt{\sum _{i=1}^n{B}_{i^2}}}$   

Di sini, A dan B menandakan dua vektor dalam ruang vektor. Skor kesamaan kosinus dapat berupa nilai antara -1 dan 1. Semakin tinggi skor kosinus, kedua item semakin dianggap mirip.

Model ruang vektor IR mengembalikan dokumen secara berurutan sesuai dengan tingkat kesamaan yang diukur. Dengan pendekatan ini, sistem IR aljabar, seperti model ruang vektor, mendukung pencocokan parsial, yang dapat memberikan hasil pencarian informasi yang lebih akurat dan bernuansa.¹³

Model probabilistik memungkinkan pencocokan sebagian antara kueri pengguna dan dokumen. Model probabilistik bekerja dengan asumsi bahwa setiap kueri memiliki himpunan dokumen ideal yang dapat diambil dari sistem informasi. Set ideal ini, diakui, tidak diketahui. Tetapi semantik istilah indeks dapat mengkarakterisasi properti himpunan ini.

Sama seperti model aljabar, model probabilistik memanfaatkan keberadaan dan frekuensi istilah indeks untuk mengukur tingkat kesesuaian antara kueri dan dokumen. Namun, model probabilistik berbeda karena mempertimbangkan faktor-faktor tambahan. Misalnya, mereka dapat mempertimbangkan frekuensi kemunculan bersama istilah indeks—yaitu seberapa sering istilah indeks muncul bersamaan dalam sebuah dokumen—dalam kaitannya dengan panjang keseluruhan dokumen, atau seberapa sering istilah indeks tertentu muncul dibandingkan dengan semua istilah kueri dalam kueri tertentu. Ini hanyalah beberapa faktor yang dapat dipertimbangkan—pembahasan lebih mendalam memerlukan pemahaman yang lebih komprehensif tentang teori probabilitas.

Perlu dicatat bahwa tidak semua model probabilistik menggunakan faktor yang sama dalam menghitung kesamaan dokumen atau probabilitas. Misalnya, model independensi biner (BIM), sebagai model IR probabilistik pertama, tidak memperhitungkan frekuensi kemunculan istilah. Model yang menggunakan teknik pemodelan topik, seperti latent Dirichlet allocation (LDA), akan mempertimbangkan ko-frekuensi istilah.¹⁴

Bias. Mesin pencari web adalah salah satu contoh penggunaan paling terkenal dari sistem IR. Algoritme seperti PageRank digunakan untuk meringkas, mengambil, dan memberi peringkat pada halaman web (dokumen HTML). Penelitian telah menunjukkan bahwa algoritme pencarian sering kali melanggengkan berbagai bias, termasuk bias rasial dan gender.¹⁵ Sebagai tanggapan, berbagai eksperimen yang telah dipublikasikan mengeksplorasi sejumlah metode untuk mengurangi bias sosial dalam sistem IR, mencakup pengambilan sampel negatif¹⁶ dan penggunaan algoritme yang sadar akan bias, yang dirancang untuk memasukkan penalti terhadap hasil yang mengandung bias.¹⁷ Mitigasi bias menjadi salah satu fokus utama penelitian dalam mengembangkan praktik etis terkait sistem IR dan kecerdasan buatan.