Apa itu OpenSearch?

Dibangun di atas Apache Lucene dan awalnya berasal dari Elasticsearch—mesin pencari dan analytics engine lainnya—OpenSearch menyediakan arsitektur yang dapat diskalakan dan terdistribusi untuk contoh penggunaan pencarian real-time, pengamatan, analitik log dan analitik keamanan.

OpenSearch mencakup OpenSearch Dasbor untuk visualisasi data dan pemantauan aplikasi. Solusi ini juga menampilkan ekosistem plugin yang luas, antarmuka pemrograman aplikasi (API) dan klien yang mendukung alur kerja analitik di seluruh lingkungan data modern.

Karena dikembangkan sebagai proyek sumber terbuka dengan peta jalan berbasis komunitas, organisasi dapat menggunakan OpenSearch tanpa batasan lisensi atau vendor lock-in. Kompatibilitasnya dengan versi Elasticsearch sebelumnya—bersama dengan kerangka kerja plugin yang dapat diperluas—memungkinkan tim untuk mengadopsi OpenSearch sebagai Flexible Analytics untuk beban kerja operasional, machine learning dan aplikasi.

Organisasi saat ini menghasilkan volume data yang signifikan yang dapat sangat berharga, tetapi hanya jika data diindeks, dapat dicari, dan tersedia secara real time. OpenSearch memberikan fungsionalitas ini melalui arsitektur pencarian sumber terbuka yang dirancang untuk skala, efisiensi biaya, dan interoperabilitas.

Dalam praktiknya, OpenSearch menawarkan:

OpenSearch dimulai sebagai respons komunitas terhadap perubahan lisensi untuk Elasticsearch dan Kibana, lapisan visualisasi populer. Versi sebelumnya dari Elasticsearch dirilis di bawah lisensi Apache 2.0, tetapi rilis berikutnya mengadopsi Server Side Public License (SSPL) dan Elastic License. Lisensi ini membatasi penggunaan kembali sumber terbuka, menciptakan tantangan bagi organisasi yang mengandalkan perangkat lunak pencarian yang dapat digunakan secara bebas dan dapat didistribusikan ulang.

Untuk mempertahankan ekosistem pencarian yang terbuka, Amazon Web Services (AWS) melakukan fork (membuat salinan independen) dari versi terakhir Elasticsearch dan Kibana yang masih menggunakan lisensi Apache 2.0, lalu membentuk OpenSearch Project. Proyek ini memperkenalkan fitur dan penyempurnaan baru di bawah model tata kelola terbuka, dan memperluas kompatibilitas dengan API Elasticsearch dan pustaka klien untuk menyederhanakan migrasi.

Sejak itu, Proyek OpenSearch telah berkembang secara independen. Solusi ini memiliki fitur peta jalan berbasis komunitas, kontribusi dari beberapa penyedia dan ekosistem plugin yang berkembang yang dihosting di GitHub. Meskipun tetap kompatibel dengan banyak pola Elasticsearch, OpenSearch telah memperluas set fitur dengan plugin untuk pencarian vektor, anomali deteksi dan alat pengamatan lanjutan.

Meskipun kedua proyek tersebut berasal dari sumber yang sama, perkembangan keduanya kini telah menempuh jalur yang berbeda. Elasticsearch lanjutkan di bawah SSPL dan Lisensi Elastic dengan strategi pengembangan fitur eksklusif. OpenSearch, sebaliknya, tetap berlisensi Apache 2.0, memprioritaskan keterbukaan, ekstensibilitas, dan visibilitas operasional. Akibatnya, organisasi yang memilih di antara keduanya sekarang mengevaluasi tidak hanya fitur, tetapi juga model tata kelola, persyaratan lisensi dan arah ekosistem jangka panjang.

Kompatibilitas tetap menjadi jembatan penting antara kedua proyek tersebut. OpenSearch masih mendukung banyak API, pola kueri, dan library klien Elasticsearch dari versi-versi sebelumnya, sehingga membantu tim melakukan migrasi dengan kebutuhan refactoring yang minimal. Solusi ini juga mempertahankan struktur repositori dan format indeks yang serupa, mempertahankan keakraban bagi pengguna yang bertransisi dari Elasticsearch.

OpenSearch dibangun di atas arsitektur terdistribusi yang dirancang untuk skala dan kinerja real-time. Komponen intinya termasuk klaster, node, indeks, shard, dan dokumen—semuanya bekerja sama untuk menyimpan dan mengambil data yang efisien.

Node adalah server atau instance kontainer yang melakukan operasi pengindeksan, kueri, dan penyimpanan. Jenis node umum meliputi:

• Master node: Mengelola status klaster, mengoordinasikan penempatan shard, dan memelihara metadata.
  
  
• Node data: Menyimpan dokumen dan shard, serta menjalankan operasi pengindeksan dan operasi.
  
  
• Node klien (koordinasi): Rute kueri pencarian, agregat hasil, dan mendukung penyeimbangan beban tanpa menyimpan data.

Klaster adalah kumpulan dari satu atau lebih node yang bekerja sama untuk mengelola data dan mengeksekusi kueri. Klaster menyediakan redundansi dan penyeimbangan beban sehingga kegagalan node tidak memengaruhi kinerja secara keseluruhan. Setiap klaster menyimpan metadata tentang indeks, shard, dan informasi perutean.

Indeks adalah namespace logis yang mirip dengan tabel basis data relasional. Indeks ini berisi pemetaan yang menentukan struktur dokumen JSON dan referensi ke pecahan yang toko dokumen-dokumen tersebut. Istilah “indeks” juga digunakan sebagai kata kerja untuk menggambarkan tindakan mengisi indeks dengan data.

Dokumen adalah objek JSON yang mewakili catatan individu. Sederhananya, itu adalah data yang disimpan dan dicari. Ketika diindeks, bidang dalam setiap dokumen dianalisis, diberi token dan disimpan dalam indeks terbalik.

Shard adalah unit penyimpanan fundamental di OpenSearch tempat dokumen berada. Setiap indeks terdiri dari shard utama dan shard replika opsional.

• Shard utama menyimpan salinan awal data.
  
  
• Shard replika menyediakan redundansi dan meningkatkan throughput untuk operasi pembacaan data.

Karena setiap shard adalah instance Lucene mandiri (pustaka mesin pencari mandiri), OpenSearch mendistribusikan pecahan di seluruh node untuk paralelisasi operasi pencarian dan skala kinerja.

Jadi, bagaimana semua ini bisa disatukan? Saat dokumen diindeks, OpenSearch menganalisis konten dan menerapkan penganalisis teks dan tokenizer. Setelah diproses, sistem akan menulis istilah-istilah tersebut ke dalam shard yang sesuai.

Pengindeksan ditangani oleh node data dan dapat didistribusikan di seluruh klaster untuk kecepatan dan keandalan. Kueri kemudian dikirim ke node koordinasi, yang mengidentifikasi shards yang berisi data yang relevan, meneruskan kueri ke shard tersebut dan menggabungkan hasilnya.

Bayangkan ini seperti dapur restoran yang memiliki beberapa stasiun kerja berbeda. Pengindeksan seperti menyiapkan bahan dan mengirimkannya ke stasiun yang tepat sehingga siap saat pesanan masuk. Ketika kueri tiba, node bertindak seperti ekspeditor—memanggil apa yang dibutuhkan, mengumpulkan kontribusi setiap stasiun dan mengirimkan satu piring jadi.

OpenSearch menyertakan fitur bawaan untuk pencarian, analitik, dan pengamatan. Plugin dan ekstensi memperluas fungsionalitas, memungkinkan tim menyesuaikan platform untuk beban kerja khusus.

• Pencarian teks lengkap dan penilaian relevansi: Mendukung kueri frasa, penyetelan relevansi, dan filter menggunakan Apache Lucene.
  
  
• Pengindeksan dan pengambilan terdistribusi: Menyimpan data di seluruh shard utama dan replika, memungkinkan pengindeksan paralel dan kueri latensi rendah.
  
  
• Agregasi dan pertanyaan analitis: Merangkum dan menganalisis data secara real time untuk deteksi tren dan pemantauan operasional.
  
  
• SQL query syntax: Kueri data yang diindeks menggunakan Structured Query Language (SQL) yang sudah dikenal membangun dan mengembalikan hasil dalam format JSON atau tabular.
  
  
• Piped Processing Language (PPL): Sintaks gaya pipeline untuk menjelajahi log, metrik, dan kumpulan data operasional lainnya.
  
  
• Manajemen Status Indeks (ISM): Mengotomatiskan operasi siklus hidup indeks seperti rollover dan retensi.
  
  
• Data Prepper (pipelines penyerapan): Menyaring, memperkaya , dan mentransformasi data sebelum diindeks untuk memastikan observabilitas dan keamanan.
  
  
• Dasbor dan visualisasi: Membuat visualisasi, panel operasional, dan laporan dari log, metrik, dan jejak.
  
  
• Autentikasi dan kontrol akses: Menyediakan kontrol akses granular atas indeks, dokumen, dan bidang dengan dukungan untuk Lightweight Directory Access Protocol (LDAP), Security Assertion Markup Language (SAML) dan Active Directory.
  
  
• Primitif observabilitas: Menyediakan dukungan bawaan untuk data observabilitas utama yang digunakan dalam pemantauan sistem terdistribusi.

Meskipun tidak lengkap, ekstensi populer ini memungkinkan analisis lanjutan, machine learning (ML), dan skenario observabilitas:

• Deteksi Anomali: Mendeteksi pola yang tidak biasa dalam log dan metrik menggunakan algoritma Random Cut Forest.
  
  
• k-NN dan pencarian vektor: Mendukung pencarian semantik dan pencarian kemiripan, bersama dengan beban kerja rekomendasi menggunakan teknik perkiraan tetangga terdekat (k-NN).
  
  
• ML Commons: Menjalankan model machine learning langsung di dalam OpenSearch, mendukung pelatihan dan inferensi.
  
  
• Analisis Kinerja: Menyediakan metrik kinerja dan sumber daya terperinci di seluruh klaster, membantu tim mengoptimalkan CPU dan kueri throughput.
  
  
• Replikasi lintas klaster: Mereplikasi indeks antar klaster untuk mendukung pemulihan bencana, redundansi, dan isolasi beban kerja.
  
  
• Analisis Jejak: Memvisualisasikan jejak dari sistem terdistribusi dan membantu tim memahami ketergantungan antar layanan serta jalur latensi.

Organisasi yang lebih menyukai pengalaman terkelola juga dapat menggunakan Amazon OpenSearch Service, yang mengotomatiskan penskalaan, pencadangan, penggantian node, dan pemeliharaan untuk klaster OpenSearch di AWS.

OpenSearch Dashboard adalah antarmuka visualisasi dan analitik untuk OpenSearch. Ini menyediakan lingkungan interaktif untuk mengeksplorasi data yang diindeks, membangun visualisasi dan membuat dasbor operasional yang digunakan di seluruh observabilitas, analitik keamanan, dan alur kerja pemantauan aplikasi. Misalnya, tim dapat memanfaatkan dasbor untuk memvisualisasikan tren dalam metrik dan menyelidiki anomali nyaris seketika.

OpenSearch Dashboards mendukung pembuatan bagan, tabel, peta, notebook, dan panel khusus. Solusi ini juga mencakup fitur yang dirancang untuk merampingkan analisis. Notebook memungkinkan pengguna untuk menggabungkan visualisasi dan teks menjadi satu narasi, sementara panel operasional mengatur visualisasi pengamatan yang dibuat dengan Piped Processing Language menjadi tampilan terpadu.

OpenSearch Dashboard memiliki warisan antarmuka pengguna (UI) yang sama dengan Kibana, sehingga banyak tim data dapat beradaptasi dengan cepat karena alur kerjanya terasa familier. Namun, ini dikembangkan di bawah peta jalannya sendiri dan mencakup kemampuan yang mencerminkan kumpulan fitur OpenSearch yang lebih luas.

OpenSearch mendukung berbagai contoh penggunaan di seluruh industri, termasuk:

• Analisis log dan intelijen operasional
• Alur kerja observabilitas
• Analitik keamanan dan deteksi ancaman
• Aplikasi mesin pencari
• Visualisasi dan pelaporan data
• Analisis yang ditingkatkan dengan machine learning

Tim mengindeks log dari aplikasi, infrastruktur, dan layanan cloud untuk menganalisis masalah kinerja dan memecahkan masalah pemadaman. OpenSearch mendukung menyerap volume tinggi dan analitik waktu nyata, yang membuatnya cocok untuk sistem produksi terdistribusi, seperti situs e-commerce multinasional.

Dengan dukungan untuk metrik, log, dan jejak, OpenSearch menyediakan platform observabilitas terintegrasi. Trace Analytics memvisualisasikan interaksi layanan, sementara analitik aplikasi mengkorelasikan telemetri untuk memahami perilaku sistem dan menentukan latensi atau kegagalan. Dasbor dan kueri PPL memungkinkan tim untuk menyelidiki masalah dengan cepat dan membuat tampilan operasional yang dapat digunakan kembali.

Deteksi anomali OpenSearch dan algoritma ML Commons memungkinkan organisasi untuk menerapkan teknik pencarian dan analitik di seluruh operasi keamanan. Tim menggunakannya untuk deteksi pola yang tidak biasa dalam log otentikasi atau perilaku aplikasi, serta memicu pemberitahuan ketika kondisi atau ambang batas terpenuhi.

Organisasi menggunakan OpenSearch sebagai mesin pencari di belakang situs web, katalog produk, dan sistem konten perusahaan. Pencarian teks lengkap, pelengkapan otomatis, pencocokan frasa, dan pencarian vektor mendukung berbagai pengalaman dan contoh penggunaan rekomendasi.

OpenSearch Dasbor menyediakan visualisasi interaktif, pelaporan, dan notebook yang membantu tim menjelajahi data, memantau tren, melacak KPI, dan berbagi insight dengan para pemangku kepentingan.

Dengan ML Commons, tim dapat menjalankan operasi berbasis model di dalam OpenSearch, seperti pengelompokan, klasifikasi, dan forecasting. Kemampuan ini mendukung contoh penggunaan seperti deteksi penipuan, prediksi permintaan, segmentasi pelanggan, dan pengayaan pipeline data hilir.