Definisi OpenSearch

Dibangun di atas Apache Lucene dan awalnya berasal dari Elasticsearch — mesin pencari dan analytics engine lainnya — OpenSearch menyediakan arsitektur yang dapat diskalakan dan terdistribusi bagi contoh penggunaan pencarian real-time, observability, analisis log, dan analisis keamanan.

OpenSearch mencakup OpenSearch Dashboards untuk visualisasi data dan pemantauan aplikasi. Solusi ini juga menghadirkan ekosistem plugin yang luas, antarmuka pemrograman aplikasi (API), dan klien yang mendukung alur kerja analisis di seluruh lingkungan data modern.

Karena dikembangkan sebagai proyek sumber terbuka dengan roadmap berbasis komunitas, organisasi dapat menggunakan OpenSearch tanpa batasan lisensi atau vendor lock-in. Kompatibilitasnya dengan versi Elasticsearch sebelumnya — bersama kerangka kerja plugin yang dapat diperluas — memungkinkan tim mengadopsi OpenSearch sebagai fondasi analisis yang fleksibel bagi beban kerja operasional, machine learning, dan aplikasi.

Organisasi saat ini menghasilkan volume data yang signifikan dan dapat sangat berharga, tetapi hanya jika data tersebut diindeks, dapat dicari, dan tersedia secara real-time. OpenSearch menghadirkan fungsionalitas ini melalui arsitektur pencarian sumber terbuka yang dirancang bagi skala, efisiensi biaya, dan interoperabilitas.

Dalam praktiknya, OpenSearch menawarkan:

OpenSearch dimulai sebagai respons komunitas terhadap perubahan lisensi pada Elasticsearch dan Kibana, lapisan visualisasi yang populer. Versi awal Elasticsearch dirilis di bawah lisensi Apache 2.0, tetapi rilis berikutnya mengadopsi Server Side Public License (SSPL) dan Elastic License. Lisensi tersebut membatasi penggunaan kembali secara sumber terbuka, sehingga menciptakan tantangan bagi organisasi yang mengandalkan perangkat lunak pencarian yang dapat digunakan secara bebas dan didistribusikan ulang.

Untuk mempertahankan ekosistem pencarian yang terbuka, Amazon Web Services (AWS) melakukan fork (membuat salinan independen) atas versi terakhir Elasticsearch dan Kibana yang masih menggunakan lisensi Apache 2.0, lalu membentuk OpenSearch Project. Proyek ini memperkenalkan fitur dan penyempurnaan baru di bawah model tata kelola terbuka, serta memperluas kompatibilitas dengan API Elasticsearch dan client library untuk menyederhanakan migrasi.

Sejak itu, OpenSearch Project telah berkembang secara independen. Proyek ini menghadirkan roadmap berbasis komunitas, kontribusi dari beberapa penyedia, dan ekosistem plugin yang terus berkembang serta di-host di GitHub. Meskipun tetap kompatibel dengan banyak pola Elasticsearch, OpenSearch telah memperluas feature set dengan plugin untuk pencarian vektor, anomali deteksi, dan alat observability lanjutan.

Meskipun kedua proyek tersebut berasal dari sumber yang sama, perkembangan keduanya kini telah menempuh jalur yang berbeda. Elasticsearch berlanjut di bawah SSPL dan Elastic License dengan strategi pengembangan fitur yang eksklusif. OpenSearch, sebaliknya, tetap berlisensi Apache 2.0 serta memprioritaskan keterbukaan, ekstensibilitas, dan visibilitas operasional. Akibatnya, organisasi yang memilih di antara keduanya kini mengevaluasi tidak hanya fitur, tetapi juga model tata kelola, persyaratan lisensi, dan arah ekosistem jangka panjang.

Kompatibilitas tetap menjadi jembatan penting antara kedua proyek tersebut. OpenSearch masih mendukung banyak API, pola kueri, dan client library Elasticsearch dari versi sebelumnya, sehingga membantu tim melakukan migrasi dengan kebutuhan refactoring yang minimal. OpenSearch juga mempertahankan struktur repositori dan format indeks yang serupa, sehingga mempertahankan keakraban bagi pengguna yang bertransisi dari Elasticsearch.

OpenSearch dibangun di atas arsitektur terdistribusi yang dirancang bagi skala dan kinerja real-time. Komponen intinya mencakup klaster, node, indeks, shard, dan dokumen — yang seluruhnya bekerja bersama untuk menyimpan dan mengambil data secara efisien.

Node adalah server atau instance container yang menjalankan operasi pengindeksan, kueri, dan penyimpanan. Jenis node umum meliputi:

• Cluster manager node (sebelumnya disebut master node): Mengelola status klaster, mengoordinasikan penempatan shard, dan memelihara metadata. 

• Data node: Menyimpan dokumen dan shard, serta menjalankan operasi pengindeksan dan pencarian.

• Coordinating node: Merutekan kueri pencarian, mengagregasi hasil, dan mendukung penyeimbangan beban tanpa menyimpan data.

Klaster adalah kumpulan satu atau lebih node yang bekerja bersama untuk mengelola data dan mengeksekusi kueri. Klaster menghadirkan redundansi dan penyeimbangan beban sehingga kegagalan node tidak memengaruhi kinerja secara keseluruhan. Setiap klaster menyimpan metadata mengenai indeks, shard, dan informasi perutean.

Indeks adalah namespace logis yang mirip dengan tabel database relasional. Indeks ini berisi pemetaan yang menentukan struktur dokumen JSON serta referensi ke shard yang menyimpan dokumen tersebut. Istilah “indeks” juga digunakan sebagai kata kerja untuk menggambarkan tindakan mengisi indeks dengan data.

Dokumen adalah objek JSON yang mewakili catatan individual. Secara sederhana, dokumen merupakan data yang disimpan dan dicari. Saat diindeks, field dalam setiap dokumen dianalisis, di-tokenize, dan disimpan dalam inverted index. 

Shard adalah unit penyimpanan fundamental pada OpenSearch, tempat dokumen berada. Setiap indeks terdiri atas shard utama dan shard replika yang bersifat opsional.

• Shard utama menyimpan salinan awal data.

• Shard replika menghadirkan redundansi dan meningkatkan throughput bagi operasi pembacaan data.

Karena setiap shard merupakan instance Lucene mandiri (library mesin pencari mandiri), OpenSearch mendistribusikan shard pada seluruh node untuk memparalelkan operasi pencarian dan menskalakan kinerja.

Bagaimana seluruh komponen ini bekerja bersama? Saat dokumen diindeks, OpenSearch menganalisis konten dan menerapkan text analyzer dan tokenizer. Setelah diproses, sistem menulis istilah tersebut ke dalam shard yang sesuai.

Pengindeksan ditangani data node dan dapat didistribusikan pada seluruh klaster bagi kecepatan dan keandalan. Kueri kemudian dikirim ke coordinating node, yang mengidentifikasi shard berisi data yang relevan, meneruskan kueri ke shard tersebut, dan menggabungkan hasilnya.

Bayangkan ini seperti dapur restoran dengan beberapa stasiun kerja yang berbeda. Pengindeksan seperti menyiapkan bahan dan mengirimkannya ke stasiun yang tepat sehingga siap saat pesanan masuk. Ketika kueri tiba, node bertindak seperti expediter (pengatur alur pesanan) — memanggil apa yang dibutuhkan, mengumpulkan kontribusi setiap stasiun, dan mengirimkan satu piring jadi.

OpenSearch mencakup fitur bawaan untuk pencarian, analisis, dan observability. Plugin dan ekstensi memperluas fungsionalitas, sehingga memungkinkan tim menyesuaikan platform bagi beban kerja khusus.

• Full-text search dan penilaian relevansi: Mendukung kueri frasa, penyetelan relevansi, dan filter menggunakan Apache Lucene.
• Pengindeksan dan pengambilan terdistribusi: Menyimpan data pada seluruh shard utama dan replika, sehingga memungkinkan pengindeksan paralel dan kueri latensi rendah.
• Agregasi dan kueri analitis: Meringkas dan menganalisis data secara real-time bagi deteksi tren dan pemantauan operasional.
• Sintaks kueri SQL: Melakukan kueri atas data yang diindeks menggunakan Structured Query Language (SQL) yang sudah familier, serta mengembalikan hasil dalam format JSON atau tabular.
• Piped Processing Language (PPL): Sintaks gaya pipeline untuk menjelajahi log, metrik, dan kumpulan data operasional lainnya.
• Index State Management (ISM): Mengotomatiskan operasi siklus hidup indeks seperti rollover dan retention.
• Data Prepper (ingestion pipeline): Memfilter, memperkaya , dan mentransformasi data sebelum diindeks guna memastikan observability dan keamanan.
• Dashboard dan visualisasi: Membuat visualisasi, panel operasional, dan laporan dari log, metrik, dan trace.
• Autentikasi dan kontrol akses: Menghadirkan kontrol akses granular atas indeks, dokumen, dan field, dengan dukungan bagi Lightweight Directory Access Protocol (LDAP), Security Assertion Markup Language (SAML), dan Active Directory.
• Primitif observability: Menghadirkan dukungan bawaan bagi data observability utama yang digunakan dalam pemantauan sistem terdistribusi.

•  

Meskipun tidak lengkap, ekstensi populer ini memungkinkan analisis lanjutan, machine learning (ML), dan skenario observability:

• Anomaly Detection: Mendeteksi pola yang tidak biasa dalam log dan metrik menggunakan algoritme Random Cut Forest.

• k-NN dan pencarian vektor: Mendukung pencarian semantik dan pencarian kemiripan, bersama beban kerja rekomendasi menggunakan teknik perkiraan tetangga terdekat (k-NN).

• ML Commons: Menjalankan model machine learning langsung di dalam OpenSearch, serta mendukung pelatihan dan inferensi.

• Performance Analyzer: Menghadirkan metrik kinerja dan sumber daya yang terperinci pada seluruh klaster, sehingga membantu tim mengoptimalkan CPU dan query throughput.

• Replikasi lintas klaster: Mereplikasi indeks antarklaster untuk mendukung pemulihan bencana, redundansi, dan isolasi beban kerja.

• Trace Analytics: Memvisualisasikan trace dari sistem terdistribusi dan membantu tim memahami dependensi antarlayanan serta jalur latensi.

Organisasi yang lebih menyukai pengalaman terkelola juga dapat menggunakan Amazon OpenSearch Service, yang mengotomatiskan penskalaan, pencadangan, penggantian node, dan pemeliharaan bagi klaster OpenSearch pada AWS

OpenSearch Dashboards adalah antarmuka visualisasi dan analisis bagi OpenSearch. Dashboards menyediakan lingkungan interaktif untuk mengeksplorasi data yang diindeks, membangun visualisasi, dan membuat dashboard operasional yang digunakan pada alur kerja observability, analisis keamanan, dan pemantauan aplikasi. Misalnya, tim dapat memanfaatkan dashboard untuk memvisualisasikan tren pada metrik dan menyelidiki anomali secara nyaris real-time.

OpenSearch Dashboards mendukung pembuatan bagan, tabel, peta, notebook, dan panel khusus. Dashboards juga mencakup fitur yang dirancang untuk menyederhanakan analisis. Notebook memungkinkan pengguna menggabungkan visualisasi dan teks menjadi satu narasi, sementara panel operasional menata visualisasi observability yang dibuat dengan Piped Processing Language menjadi tampilan terpadu.

OpenSearch Dashboards memiliki warisan antarmuka pengguna (UI) yang sama dengan Kibana, sehingga banyak tim data dapat beradaptasi dengan cepat karena alur kerjanya terasa familier. Namun, Dashboards dikembangkan di bawah roadmap-nya sendiri dan mencakup kemampuan yang mencerminkan feature set OpenSearch yang lebih luas.

OpenSearch mendukung berbagai contoh penggunaan di seluruh industri, termasuk:

• Analisis log dan intelijen operasional
• Alur kerja observabilitas
• Analitik keamanan dan deteksi ancaman
• Aplikasi mesin pencari
• Visualisasi dan pelaporan data
• Analisis yang ditingkatkan dengan machine learning

Tim mengindeks log dari aplikasi, infrastruktur, dan layanan cloud untuk menganalisis masalah kinerja dan memecahkan masalah outage. OpenSearch mendukung ingestion volume tinggi dan analitik real-time, sehingga cocok bagi sistem produksi terdistribusi, seperti situs e-commerce multinasional.

Dengan dukungan bagi metrik, log, dan trace, OpenSearch menghadirkan platform observability terintegrasi. Trace Analytics memvisualisasikan interaksi layanan, sementara analitik aplikasi mengkorelasikan telemetry untuk memahami perilaku sistem dan menentukan latensi atau kegagalan. Dashboard dan kueri PPL memungkinkan tim menyelidiki masalah dengan cepat serta membuat tampilan operasional yang dapat digunakan kembali.

Anomaly Detection OpenSearch dan algoritme ML Commons memungkinkan organisasi menerapkan teknik pencarian dan analitik pada seluruh operasi keamanan. Tim menggunakannya bagi deteksi pola yang tidak biasa dalam log autentikasi atau perilaku aplikasi, serta untuk memicu pemberitahuan ketika kondisi atau ambang batas terpenuhi.

Organisasi menggunakan OpenSearch sebagai mesin pencari di balik situs web, katalog produk, dan sistem konten perusahaan. Full-text search, autocomplete, pencocokan frasa, dan pencarian vektor mendukung berbagai pengalaman dan contoh penggunaan rekomendasi.

OpenSearch Dashboards menyediakan visualisasi interaktif, pelaporan, dan notebook yang membantu tim menjelajahi data, memantau tren, melacak KPI, dan berbagi insight dengan pemangku kepentingan.

Dengan ML Commons, tim dapat menjalankan operasi berbasis model di dalam OpenSearch, seperti clustering, classification, dan forecasting. Kemampuan ini mendukung contoh penggunaan seperti deteksi penipuan, prediksi permintaan, segmentasi pelanggan, dan pengayaan data pipeline hilir.