Apa itu Milvus?

Zilliz pertama kali mengembangkan Milvus pada tahun 2017 dan menyumbangkan proyek ke Linux Foundation pada tahun 2020. Milvus sekarang tersedia sebagai perangkat lunak sumber terbuka di bawah Lisensi Apache 2.0 dan sebagai layanan cloud yang dikelola sepenuhnya dari Zilliz

Basis data vektor menyimpan dan mengelola kumpulan data dalam bentuk vektor. Basis data vektor dapat membantu organisasi mengelola data tak terstruktur, dan sangat penting bagi upaya kecerdasan buatan (AI) dan machine learning (ML) tingkat lanjut.

Vektor adalah susunan angka yang merepresentasikan konsep dan objek yang kompleks, seperti kata dan gambar.  

Data yang tidak terstruktur—seperti teks, video, dan audio—merupakan bagian penting dari data perusahaan saat ini, tetapi basis data tradisional sering kali tidak cocok untuk mengatur dan mengelola data ini.  

Organisasi dapat memasukkan data ini ke model penyematan pembelajaran mendalam khusus, yang menghasilkan representasi vektor yang disebut "penyematan." Sebagai contoh, kata "kucing" dapat diwakili oleh vektor [0.2, -0.4, 0.7], sedangkan kata "anjing" dapat diwakili oleh [0.6, 0.1, 0.5].

Mentransformasi data menjadi vektor memungkinkan organisasi untuk menyimpan berbagai jenis data yang tidak terstruktur dalam format bersama dalam satu basis data vektor.  

Vektor juga membantu organisasi membuka nilai data ini untuk AI dan ML. Vektor menangkap hubungan semantik antar elemen, memungkinkan pemrosesan yang efektif oleh model bahasa besar (LLM) dan alat bantu AI generatif (gen AI). Sebagian besar aplikasi AI dan ML yang paling canggih saat ini mengandalkan vektor untuk pelatihan dan pembuatan konten.

Seperti basis data vektor lainnya, Milvus memberi organisasi cara untuk mengelola dan mengatur vektor penyisipan. Penyimpanan basis data vektor Milvus yang dapat diskalakan dan kemampuan pencarian vektor yang efisien telah menjadikannya pilihan populer untuk generasi dengan dukungan pengambilan data (RAG), sistem rekomendasi dan aplikasi AI lainnya.  

Milvus adalah basis data vektor cloud-native dengan arsitektur berbasis layanan mikro berlapis-lapis. Milvus memisahkan sumber daya penyimpanan dan komputasi, yang memungkinkan organisasi untuk menskalakan setiap lapisan secara independen dan horizontal.

Milvus kompatibel dengan beberapa model penyematan yang berbeda. Organisasi dapat menghubungkan model mereka ke Milvus, yang menyerap penyematan bersama dengan metadata dan informasi terkait lainnya. Milvus mendukung pengunggahan penyematan secara streaming dan batch.

Milvus memiliki 4 lapisan:

• Lapisan akses: Ini adalah lapisan yang menghadap ke luar, yang menerima input dari pengguna dan layanan serta mengembalikan hasil.  

• Layanan koordinator: Zilliz menyebut lapisan ini sebagai "otak" sistem karena lapisan ini melakukan orkestrasi penyeimbangan beban, manajemen data, eksekusi kueri, dan tugas-tugas penting lainnya. 

• Node pekerja: Lapisan ini mengeksekusi kueri, memperbarui data, dan membangun indeks. 

• Object storage layer: Lapisan ini mencakup penyimpanan metadata, perantara log yang mencatat perubahan data waktu nyata, dan object storage yang menampung cuplikan log, berkas indeks, dan hasil.

• Milvus Lite: Sebuah pustaka Python yang memungkinkan pengguna untuk menjalankan Milvus di lingkungan lokal. Milvus Lite saat ini mendukung Ubuntu dan MacOS, tetapi tidak untuk Microsoft Windows.
  
  
• Milvus Standalone: Basis data Milvus lengkap yang dikemas dalam satu gambar Docker dan berjalan pada satu mesin. 
  
  
• Milvus Cluster: Basis data vektor terdistribusi yang menyebarkan layanan ke seluruh kelompok node dalam klaster Kubernetes.  
  
  
• Zilliz Cloud: Versi Milvus yang dikelola sepenuhnya.

Baik Pinecone dan Milvus menawarkan pencarian latensi rendah dan penyimpanan yang dapat diskalakan, tetapi Pinecone adalah basis data vektor berpemilik dan hanya tersedia sebagai layanan terkelola.

Seperti Milvus, Weaviate adalah sumber terbuka dan mendukung pencarian hybrid. Satu perbedaan utama adalah Milvus menawarkan lebih banyak jenis pengindeksan daripada Weaviate.

Basis data vektor sumber terbuka lainnya, Qdrant dikenal karena kemampuan penyaringan metadata yang kuat. Sementara Qdrant sangat cocok untuk penggunaan skala sedang, Milvus umumnya dapat menangani volume data vektor yang lebih tinggi.

Chroma berfokus pada kemudahan penggunaan dan penerapan lokal yang cepat. Chroma tidak memiliki arsitektur terdistribusi, membuatnya kurang dapat diskalakan. Sementara Chroma umumnya digunakan untuk prototyping dan pengujian, Milvus dapat mendukung berbagai contoh penggunaan yang lebih luas

Organisasi menggunakan Milvus untuk mendukung berbagai aplikasi AI, termasuk:

• Generasi dengan dukungan pengambilan data (RAG)

• Sistem rekomendasi

• Pencarian media 

• Deteksi anomali dan deteksi penipuan

RAG adalah arsitektur yang menghubungkan model AI ke basis pengetahuan eksternal untuk membantu memberikan hasil yang lebih relevan dan akurat.  

Milvus umum digunakan dalam implementasi RAG karena dukungannya untuk pencarian hybrid yang efisien. Dengan menggabungkan pemahaman kontekstual dari pencarian semantik dengan ketepatan pencarian kata kunci dan penyaringan metadata, Milvus dapat membantu memunculkan dokumen yang relevan, cuplikan kode, dan informasi lain dari sumber RAG.

CacheGPT, cache semantik sumber terbuka untuk LLM yang dikembangkan oleh Zilliz, juga membantu Milvus mendukung implementasi RAG. CacheGPT menyimpan respons dari aplikasi AI generatif sebagai penyematan vektor

Layanan yang terhubung—seperti antarmuka RAG—tidak perlu melakukan panggilan API ke AI generatif untuk setiap pencarian. Sebaliknya, mereka dapat memeriksa cache terlebih dahulu dan memanggil AI generatif hanya jika jawabannya tidak ada.

Milvus populer dalam sistem rekomendasi yang mencocokkan konten, produk, dan iklan kepada pengguna berdasarkan perilaku masa lalu. 

Preferensi pengguna dapat direpresentasikan sebagai vektor, dan pencarian kesamaan dapat memunculkan representasi vektor produk, iklan, dan konten yang mendekati preferensi pengguna.

Kemampuan pencarian kemiripan Milvus dapat membantu merampingkan pencarian gambar, pencarian audio, pencarian video, dan pencarian media lainnya.

Milvus dapat digunakan untuk membantu menemukan cacat pada produk dengan membandingkan vektor gambar produk dengan vektor yang mewakili bentuk sebenarnya dari produk tersebut. Perbedaan antara vektor dapat mengindikasikan adanya cacat.

Milvus juga dapat membantu menemukan anomali dalam konteks lain. Dalam keamanan siber, vektor yang mewakili aktivitas jaringan yang sah dapat dibandingkan dengan vektor yang mewakili aktivitas berbahaya yang diketahui. Demikian juga dalam bidang keuangan, vektor yang mewakili transaksi dapat dianalisis untuk mengidentifikasi penyimpangan yang mungkin mengindikasikan penipuan.