Apa yang dimaksud dengan penyimpanan AI?

Inovasi AI makin cepat, dan proyek AI memerlukan arsitektur penyimpanan yang dapat mengakomodasi pertumbuhan data yang berkembang dan memberikan kinerja, skalabilitas, dan akses latensi rendah yang diminta oleh beban kerja berbasis AI.

Menurut sebuah studi riset oleh Precedence, pasar penyimpanan global yang didukung AI diperkirakan akan tumbuh dari USD 35,95 miliar pada tahun 2025 menjadi sekitar USD 255,24 miliar pada tahun 2034. Perkiraan tingkat pertumbuhan tahunan gabungan (CAGR) adalah 24,42%.¹ Integrasi AI dan ML yang dipercepat, bersama dengan peningkatan contoh penggunaan penyimpanan AI di seluruh industri, mendorong pertumbuhan pasar.

Perusahaan memodernisasi infrastruktur penyimpanan data mereka untuk memanfaatkan potensi bisnis dari AI, ML, dan analitik tingkat lanjut. Namun, mereka ditantang oleh data dan beban kerja yang didistribusikan di beberapa wilayah, peningkatan waktu yang diperlukan untuk pelatihan AI dan beban kerja inferensi. Untuk masalah ini, ditambah lagi dengan biaya dan kelangkaan sumber daya sesuai permintaan seperti unit pemrosesan grafis (GPU). 

Menurut studi IBM Institute for Business Value (IBV), 62% eksekutif berharap untuk menggunakan AI di seluruh organisasi mereka dalam waktu 3 tahun. Namun, hanya 8% yang mengatakan bahwa infrastruktur TI mereka memenuhi semua kebutuhan AI mereka.

Melihat ke masa depan, hanya 42% dari mereka yang disurvei percaya bahwa infrastruktur ini dapat mengelola volume data dan tuntutan komputasi model AI canggih. Demikian pula, hanya 46% yang mengharapkannya untuk mendukung inferensi real-time dalam skala besar.

Beban kerja AI membutuhkan sistem yang dapat mengurangi kemacetan pemrosesan data, yang memperlambat pelatihan model, penyempurnaan, dan inferensi. Mereka juga membutuhkan penyimpanan yang dapat diskalakan untuk menangani kumpulan data yang terus berkembang, terutama yang terkait dengan AI generatif dan beban kerja Model Bahasa Besar (LLM).

Untuk memenuhi tuntutan ini, penyimpanan AI dapat terintegrasi secara mulus dengan sumber terbuka dan kerangka kerja ML dan pembelajaran mendalam melalui antarmuka pemrograman aplikasi (API). Kemampuan ini mempercepat pelatihan LLM, pengembangan model, dan meningkatkan kinerja keseluruhan di seluruh sistem AI.

Untuk mempelajari lebih lanjut, baca: "Infrastructure for AI: Why storage matters."

Penyimpanan data tradisional digunakan untuk aplikasi bisnis umum, sedangkan penyimpanan AI memberikan dasar untuk melatih dan menjalankan model AI yang kompleks dan intensif data secara efisien dan hemat biaya.

Sementara penyimpanan tradisional menangani data terstruktur dan tidak terstruktur, penyimpanan ini dirancang untuk beban kerja bisnis biasa dengan pola yang dapat diprediksi, bukan untuk model pelatihan pada sistem terdistribusi dan menjalankan inferensi dalam skala besar.

Penyimpanan AI mengacu pada sistem yang digunakan untuk menyimpan dan mengelola data untuk pelatihan dan menjalankan sistem infrastruktur AI, termasuk data lake, penyimpanan cloud, dan database. Ini menangani volume besar data tidak terstruktur (misalnya, gambar, audio, video, data sensor).

Jenis data ini memerlukan sistem penyimpanan yang memberikan operasi input/output tinggi per detik dan latensi rendah, terutama selama pelatihan model dan inferensi.

Singkatnya, perbedaan utama antara penyimpanan tradisional dan penyimpanan AI bermuara pada spesifikasi beban kerja. Penyimpanan tradisional dibuat untuk operasi yang konsisten dan dapat diprediksi, sementara beban kerja AI memiliki persyaratan yang unik dan menuntut di seluruh siklus hidupnya.

Setiap tahap dari siklus hidup sistem AI—penyerapan data, pelatihan, inferensi, dan pembaruan model—memiliki kebutuhan penyimpanan yang unik, yang membutuhkan kapasitas penyimpanan petabyte dan memori berkecepatan tinggi.

Penyimpanan AI menggunakan pipeline data untuk memfasilitasi aliran data yang berkesinambungan, mulai dari pengumpulan hingga pemrosesan awal hingga konsumsi model. Penyimpanan AI menggunakan arsitektur yang dapat diskalakan, termasuk penyimpanan objek dan sistem file paralel, yang memproses data secara paralel di beberapa node penyimpanan. Kemampuan ini memungkinkan aplikasi AI untuk menangani data real-time dengan kecepatan tinggi yang diperlukan.

Untuk menyeimbangkan biaya dan kinerja, penyimpanan AI biasanya melibatkan tingkatan penyimpanan. Data yang sering diakses (tingkat panas) disimpan pada cache berkecepatan tinggi dan penyimpanan flash, sementara data yang kurang penting (hangat atau dingin) disimpan pada teknologi penyimpanan yang hemat biaya dan lebih lambat untuk retensi jangka panjang.

• Penyimpanan berbasis flash: Penyimpanan AI mengandalkan solid-state drive (SSD). SSD ini adalah perangkat penyimpanan berbasis semikonduktoryang biasanya menggunakan memori flash NAND untuk kinerja tinggi, latensi rendah, dan throughput tinggi untuk memproses kumpulan data untuk pelatihan dan inferensi.

• Desain tier tunggal: Sebagian besar solusi penyimpanan AI menggunakan arsitektur tier tunggal, menyediakan lingkungan terpadu dan terkonsolidasi untuk data yang sering diakses. Jenis arsitektur ini mendukung penyimpanan flash atau SSD untuk latensi rendah dan kinerja I/O tinggi.

• Memori bandwidth tinggi (HBM): GPU pusat data, CPU, akselerator, dan beberapa SSD menggunakan HBM untuk memungkinkan transfer data berkinerja tinggi dengan konsumsi daya yang lebih rendah daripada memori akses acak dinamis (DRAM), arsitektur memori yang lebih tradisional.

• Teknologi NVMe (non-volatile memory express): NVMe, protokol yang dirancang untuk transfer data yang sangat paralel, memainkan peran penting dalam penyimpanan AI. SSD NVMe dan penyimpanan jaringan (NVMe-OF) memiliki kecepatan, kemampuan pemrograman, dan kapasitas yang dibutuhkan untuk mendukung pemrosesan paralel besar-besaran dalam beban kerja AI. 

• Repositori data: Penyimpanan AI menggunakan platform data dan layanan data (misalnya, data lake, gudang, lakehouse) untuk menciptakan lingkungan terpusat untuk data mentah dan tidak terstruktur. Proses ini memecah silo dan menghilangkan kebutuhan untuk memindahkan data antar sistem.

• Teknologi pengurangan data: Teknik deduplikasi, kompresi, dan tiering data meminimalkan jejak dan biaya penyimpanan organisasi sambil mempertahankan akses kinerja tinggi yang diperlukan untuk beban kerja AI.

• Lingkungan yang dapat diskalakan: Penyimpanan AI diterapkan dengan menggunakan model infrastruktur berkinerja tinggi, skala besar, seperti hybrid cloud, on-premises, pusat data hyperscale dan lingkungan edge.

Penyimpanan AI memberikan keuntungan utama yang mengoptimalkan alur kerja AI dan kinerja infrastruktur, termasuk:

• Kinerja dengan akselerasi GPU: Mendukung aplikasi dan beban kerja dengan akselerasi GPU, memberikan throughput yang diperlukan untuk pelatihan dan inferensi AI.

• Akses data terpadu: Menyediakan akses file, volume, dan objek di seluruh sumber data yang berbeda, termasuk penyimpanan tradisional, lingkungan cloud, dan edge, menghilangkan kebutuhan untuk memindahkan data antar sistem.

• Aksesibilitas data tanpa pemindahan: Memungkinkan akses ke data di berbagai platform dan lokasi tanpa memindahkannya secara fisik, sehingga mengurangi duplikasi dan biaya jaringan.

• Perlindungan data otomatis: Menyediakan data yang menggunakan kebijakan dan metode perlindungan seperti enkripsi di seluruh lingkungan, memastikan kumpulan data AI terlindungi di sepanjang siklus hidupnya.

• Integrasi hybrid cloud: Menghubungkan data dari pusat data ke sumber daya cloud publik, meningkatkan kolaborasi aplikasi dan membawa ketangkasan yang lebih besar ke beban kerja AI.

• Manajemen penyimpanan yang disederhanakan: Menawarkan skalabilitas, otomatisasi, dan operasi yang disederhanakan, sehingga mengurangi kerumitan untuk inisiatif AI.

• Optimalisasi biaya Menghilangkan silo dan duplikasi data sekaligus menggabungkan sumber daya komputasi dan penyimpanan untuk menurunkan biaya infrastruktur tanpa mengorbankan kinerja AI.

Penyimpanan AI memainkan peran penting dalam beragam, alur kerja AI, ML, dan komputasi kinerja tinggi (HPC) padat data. Selanjutnya adalah beberapa contoh penggunaan khusus industri:

• Retail

• Pelayanan Kesehatan

• Keuangan

• Hiburan

• Manufaktur

• Asuransi

Peritel menggunakan penyimpanan AI untuk mengelola data dan metadata dalam jumlah besar yang dihasilkan dari transaksi penjualan, interaksi pelanggan, media sosial, dan perangkat IoT. Proses ini memungkinkan pengoptimalan inventaris real-time, rekomendasi yang dipersonalisasi, dan forecasting permintaan.

Dalam perawatan kesehatan, penyimpanan AI mempercepat penemuan obat dan mendukung dukungan keputusan klinis melalui AI (misalnya, NVIDIA BioNemo, IBM watsonx) sambil menangani kumpulan data genomik yang sangat besar, file pencitraan medis, dan catatan kesehatan elektronik.

Bank dan lembaga keuangan lainnya mengandalkan penyimpanan AI yang dapat diskalakan untuk mengelola sejumlah besar data dari volume transaksi. Hal ini memungkinkan machine learning untuk deteksi pola dan anomali di jutaan transaksi secara real time, mendukung deteksi penipuan dan layanan perbankan yang dipersonalisasi.

Layanan streaming seperti Netflix dan Amazon menggunakan penyimpanan data AI untuk memproses tampilan data riwayat dalam skala besar, memungkinkan mesin rekomendasi real-time yang memberikan konten yang dipersonalisasi.

Penyimpanan AI menyediakan manajemen data untuk sensor dan mesin di seluruh lantai pabrik. Infrastruktur ini memungkinkan pemeliharaan prediktif, mengoptimalkan rantai pasokan, dan mengotomatiskan kontrol kualitas secara real time.

Penyimpanan AI mendukung penjaminan otomatis dan pemrosesan klaim dengan memungkinkan akses cepat ke dokumen, foto, dan data tidak terstruktur. Pendekatan ini memungkinkan pemrosesan bahasa alami (NLP) dan model pengenalan gambar untuk mempercepat penilaian risiko dan mempercepat penyelesaian klaim.