Memperkenalkan dukungan Netezza Native Cloud Object Storage (NCOS)

Ilustrasi digital ikon cloud dengan garis ke tumpukan penyimpanan

Penyusun

Brajesh Pandey

STSM, Chief Architect, Netezza

IBM

Daniel Hancock

IBM

Principal Data and AI Specialist, Worldwide Technical Sales

Harish Mara

Senior Backend Developer

IBM

Kiran Kumar Gahlot

QA/Test Developer

Samuel Patterson

Senior Software Engineer

Shawn Rackley

Software Development

Netezza telah melakukan lompatan besar ke depan dalam perjalanan modernisasi dengan menyertakan dukungan Native Cloud Object Storage langsung di dalam mesin.

Kemampuan baru yang kuat ini memungkinkan pengguna untuk membuat tabel pengguna dalam format data Netezza di penyimpanan objek yang kompatibel dengan S3, sehingga mencapai tingkat skalabilitas, fleksibilitas, dan efisiensi biaya baru.

Mengapa ini penting

Peningkatan ini lebih dari sekadar peningkatan teknis, melainkan perubahan strategis yang menggeser posisi Netezza untuk sepenuhnya memanfaatkan manfaat arsitektur cloud native. Dengan kemampuan bawaan untuk mengintegrasikan object storage:

  • Skalabilitas: Penyimpanan objek dapat tumbuh secara virtual tanpa batas, membuatnya ideal untuk big data.
  • Efektivitas biaya: Biaya penyimpanan lebih rendah dibandingkan dengan penyimpanan blok tradisional.
  • Berbagi data dan reduplikasi: Kolaborasi yang lebih mudah dan mengurangi redundansi.
  • Daya tahan dan ketahanan yang ditingkatkan: Toleransi kesalahan bawaan di seluruh wilayah cloud.

Hierarki penyimpanan hybrid

Kemampuan baru ini melengkapi dukungan penyimpanan blok Netezza yang ada, membentuk hierarki penyimpanan hybrid. Pengguna sekarang dapat mengalihkan beban kerja dari penyimpanan blok ke penyimpanan objek dengan lancar, memungkinkan jalur migrasi yang lebih lancar ke penerapan cloud native.

Model hybrid ini merupakan perubahan besar bagi pelanggan yang ingin mengoptimalkan kinerja dan biaya sekaligus memodernisasi infrastruktur data mereka.

Arsitektur dan modernisasi

Netezza saat ini tersedia di platform cloud terkemuka seperti AWS dan Azure sebagai penawaran SaaS dan Bring Your Own Cloud (BYOC). Platform cloud publik ini menyediakan penyimpanan objek yang murah, dapat diskalakan, dan berkemampuan tinggi. Misalnya, AWS S3 adalah layanan penyimpanan objek populer yang dapat diterapkan melalui akun cloud AWS dan dapat diskalakan dengan sangat baik sambil menjaga biaya tetap minimal. Pengguna juga dapat mengonfigurasi bucket penyimpanan untuk penerapan versi, redundansi, dan kontrol akses.

Dengan pendekatan penyimpanan hybrid, pelanggan dapat secara opsional menentukan jenis penyimpanan untuk tabel selama pembuatan. Jika tidak ada jenis penyimpanan yang ditentukan dalam DDL, Netezza secara otomatis memilih satu jenis berdasarkan pengaturan default basis data atau konfigurasi sistem default, yang dapat dikonfigurasi.

Netezza terus dibangun berdasarkan konsep komputasi terdistribusi dan arsitektur MPP. 

Jenis penyimpanan tersebut tidak dapat diketahui dari front-end NPS. Artinya, pengguna harus dapat melakukan kueri pada tabel dan menggabungkannya tanpa mengkhawatirkan jenis penyimpanan yang mendasarinya.

Modernisasi mesin penyimpanan Netezza

Netezza menawarkan object storage sekaligus terus mendukung block storage untuk memfasilitasi transisi data dan beban kerja dari block storage ke object storage. Setelah object storage dikonfigurasi, pelanggan dapat memilih jenis penyimpanan dari tabel yang baru dibuat. Data dapat disalin sesuai kebutuhan antara object storage dan block storage menggunakan SQL sederhana.

Pengguna harus membuat bucket terpisah untuk setiap instance NPS. 

Penamaan dan penghapusan objek tabel

Setiap objek yang disimpan di penyimpanan objek mengikuti format awalan terstruktur:

 "/nps/<instance name>/<dbuuid>/<dsid>".

Penyimpanan objek berisi objek yang sesuai dengan tabel dan metadata. Setiap irisan data memiliki objek metadatanya sendiri. Metadata disimpan dalam buffer besar untuk meningkatkan latensi IO.

Dalam arsitektur penyimpanan objek Netezza, objek usang, seperti yang dihasilkan dari tabel yang dihapus, terpotong, atau dikosongkan, dilacak menggunakan objek daftar hapus. Daftar ini dihasilkan selama operasi tersebut. Kemudian, pembersih sampah asinkron bertanggung jawab untuk melakukan penghapusan objek-objek tersebut dari penyimpanan objek.

Ini berarti Netezza secara otomatis menangani pembersihan di latar belakang, memastikan manajemen penyimpanan yang efisien tanpa memerlukan intervensi manual.

Caching SSD Lokal

Untuk meningkatkan kinerja dan mengurangi biaya operasional, penyimpanan objek Netezza memanfaatkan caching lokal. Lapisan caching ini memberikan latensi rendah dan throughput tinggi. Implementasi caching khusus dikembangkan secara spesifik untuk mesin penyimpanan Netezza, memungkinkan iterasi cepat dan integrasi yang ketat dengan arsitektur khusus Netezza.

Sorotan utama penyimpanan objek untuk pengguna Netezza

Integrasi penyimpanan objek Netezza memberikan manfaat besar bagi pengguna, tanpa mengganggu alur kerja atau aplikasi yang ada. Berikut adalah keuntungan utama:

  1. Tidak ada perubahan pada aplikasi pelanggan: Aplikasi yang dibuat untuk penyimpanan blok terus bekerja dengan lancar dengan penyimpanan objek; tidak diperlukan perubahan kode atau konfigurasi ulang.
  2. Kompatibilitas SQL penuh: Semua sintaksis Netezza, alat, dan fitur operasional Netezza bekerja identik dengan penyimpanan objek; pengguna mengalami perilaku konsisten di kedua jenis penyimpanan.
  3. Peningkatan skalabilitas: Memanfaatkan skalabilitas bawaan penyimpanan objek cloud untuk kapasitas dan IOPS; ideal untuk beban kerja yang berkembang dan kumpulan data yang besar.
  4. Model biaya yang transparan: Pengguna ditagih berdasarkan volume penggunaan—penyimpanan aktual dan panggilan API; memungkinkan kontrol biaya yang lebih baik dan dapat diprediksi.
  5. Harga dan kinerja yang dioptimalkan seiring waktu: Netezza menggunakan teknik seperti caching lokal berkinerja tinggi dan penulisan batch untuk mengurangi overhead API. Optimalisasi ini membantu memberikan kinerja yang lebih baik dengan biaya operasional yang lebih rendah, terutama untuk beban kerja yang berat dan analitis.

Karakteristik kinerja Block Storage vs Object Storage

Untuk menilai efisiensi dan keandalan penyimpanan objek, serangkaian beban kerja yang beragam dijalankan termasuk kueri read-only, operasi analitis campuran, tugas intensif penulisan, dan skenario multi-pengguna bersamaan.

Sorotan utama:

  • Kinerja yang setara dengan penyimpanan blok: Penyimpanan objek menunjukkan kinerja yang sebanding dengan penyimpanan blok di berbagai jenis beban kerja.
  • Kinerja penulisan batch yang lebih cepat: Operasi dengan banyak penulisan, terutama sisipan batch, menunjukkan peningkatan throughput berkat strategi caching dan tulis yang dioptimalkan.
  • Biaya penyimpanan yang lebih rendah dari waktu ke waktu: Total biaya untuk menjalankan beban kerja ini (termasuk penggunaan API) secara konsisten lebih rendah pada penyimpanan objek dibandingkan dengan penyimpanan blok, menjadikannya solusi yang lebih hemat biaya untuk manajemen data jangka panjang.

Pengalaman pengguna

Untuk mendukung penyimpanan objek native, Netezza memperkenalkan kata kunci storagetype, memungkinkan pengguna untuk menentukan jenis penyimpanan yang diinginkan pada berbagai tingkat konfigurasi.

1.  Hierarki resolusi jenis penyimpanan: Jika level tabel ditentukan dalam pernyataan CREATE TABLE, tabel akan menggunakan jenis penyimpanan yang ditentukan.

2. Contoh: CREATE TABLE t1 (c1 INT) storagetype 'object'; Level-Sesi:  Jika tidak ditentukan pada tingkat tabel, tipe penyimpanan diambil dari sesi. Contoh:

               SET default_storage_type = ‘object’;

               CREATE TABLE t1 (c1 INT)

3. Tingkat Basis Data: Jika tidak ditentukan pada tingkat sesi, jenis penyimpanan diperoleh dari basis data. Contoh:

CREATE DATABASE db1 storagetype ‘object’;

ALTER DATABASE db1 storagetype ‘object’;

4. Pengaturan Global: Jika tidak ditentukan pada tingkat basis data, sistem akan kembali ke jenis penyimpanan default global yang ditetapkan dalam konfigurasi sistem. Contoh:

SET default_storage_type = ‘object’;

Hierarki ini memastikan fleksibilitas sambil mempertahankan konsistensi di seluruh penerapan.

Pembaruan ketersediaan

Cloud Object Storage for Netezza on AWS sekarang tersedia dalam pratinjau publik, dengan Ketersediaan Umum direncanakan untuk AWS dan Azure pada Q4 2025.

Menjaga pengalaman pengguna yang konsisten

Netezza sekarang mendukung cloud object storage bawaan, memungkinkan pengguna untuk membuat dan mengelola tabel secara langsung pada penyimpanan cloud yang kompatibel dengan S3. Model hybrid ini yang menggabungkan penyimpanan block storage dan object storage menawarkan skalabilitas yang lebih baik, biaya lebih rendah, dan kompatibilitas SQL yang lancar.

Dengan caching, pembersihan asinkron, dan konfigurasi penyimpanan fleksibel melalui kata kunci storagetype, Netezza memberikan peningkatan kinerja harga sambil mempertahankan pengalaman pengguna yang konsisten. Pratinjau publik Netezza NCOS adalah fondasi yang kuat untuk memacu gelombang kemampuan baru yang akan membuat pengguna kami tertarik. 

Kami menyarankan agar pengguna menjelajahi penyimpanan objek dengan menjalankan beban kerja mereka dan menentukan keseimbangan terbaik untuk kebutuhan data dan beban kerja mereka.

Jelajahi