Apa yang dimaksud dengan lakehouse data?

Secara historis, organisasi sering menggunakan data lake dan data warehouse secara bersamaan. Data lake berfungsi sebagai sistem penampung untuk data mentah terstruktur, semi-terstruktur, dan tidak terstruktur, yang kemudian dipindahkan menggunakan ETL/ELT ke gudang data untuk contoh penggunaan hilir seperti business intelligence (BI) dan analisis prediktif.

Namun, mengoordinasikan sistem-sistem ini untuk menyediakan data yang andal dapat menghabiskan banyak waktu dan sumber daya, terutama untuk analisis data dan beban kerja AI. Pergerakan data dapat berkontribusi pada keusangan dan redundansi data, sementara lapisan tambahan ETL/ELT dapat menimbulkan risiko kualitas dan konsistensi data. 

Data lakehouse meringankan tantangan ini dengan menghadirkan manajemen data bergaya gudang dan kemampuan analitik secara langsung ke data yang disimpan dalam data lake. Pengaturan ini membantu tim data menyatukan manajemen data, mempercepat pemrosesan data, meningkatkan kualitas data, dan mendukung beban kerja kecerdasan buatan (AI) dan machine learning (ML) yang dapat diskalakan.

Seperti halnya data lake, data lakehouse menggunakan penyimpanan objek cloud berbiaya rendah. Pendekatan ini memungkinkan mereka untuk menyimpan data dalam hampir semua format (terstruktur, semi-terstruktur dan tidak terstruktur).

Yang menjadikannya lakehouse adalah lapisan manajemen data bergaya gudang yang dibangun di atas penyimpanan tersebut, yang menambahkan struktur dan tata kelola data untuk mendukung analitik dan beban kerja BI.

Sebagian besar data lakehouse bergantung pada format tabel terbuka (OTF)—biasanya:

• Apache Hudi (awalnya dibangun di Uber dan dirancang untuk pemrosesan data tambahan)
• Apache Iceberg (format berkinerja tinggi untuk tabel analitik yang sangat besar)
• Delta Lake (opsi populer yang dikembangkan oleh Databricks dan sumber terbuka pada tahun 2019)

Teknologi ini bertindak sebagai lapisan metadata yang mengatur file data terbuka (seperti yang disimpan di Apache Parquet) menjadi tabel logis seperti basis data.

Pendekatan ini memungkinkan organisasi untuk bekerja dengan data lake mentah seolah-olah itu adalah data gudang terstruktur, mendukung kemampuan utama seperti perjalanan waktu, pembuatan versi, evolusi skema, manipulasi data, dan konsistensi transaksional (ACID).

(“ACID” adalah singkatan dari atomisitas, konsistensi, isolasi dan daya tahan. Properti ini membantu memastikan integritas dan keandalan transaksi data.)

Dengan lapisan dan fitur tambahan ini, lakehouses membuat data lake lebih andal dan intuitif untuk digunakan. Mereka juga memungkinkan pengguna untuk menjalankan kueri SQL Query, beban kerja analitik, dan contoh penggunaan lanjutan lainnya langsung di data lake, menyederhanakan BI, AI, ML, dan kecerdasan data (DI).

Arsitektur data lakehouse biasanya terdiri dari lima lapisan:

• Lapisan penyerapan
• Lapisan penyimpanan
• Lapisan metadata
• Lapisan API
• Lapisan konsumsi

Lapisan pertama ini mengumpulkan data dari berbagai sumber internal dan eksternal dan mempersiapkannya untuk penyimpanan dan analisis. Lapisan konsumsi dapat menggunakan konektor untuk berintegrasi dengan sumber seperti sistem manajemen basis data, basis data NoSQL, aplikasi SaaS, dan umpan media sosial. Konsumsi dapat dilakukan secara batch atau secara real time.

Lapisan penyimpanan menyimpan kumpulan data terstruktur, tidak terstruktur, dan semi-terstruktur dalam cloud object storage berbiaya rendah. Layanan yang umum digunakan antara lain Amazon Simple Storage Service (Amazon S3), Microsoft Azure Blob Storage, Google Cloud Storage, dan IBM Cloud Object Storage. 

Data biasanya disimpan dalam format penyimpanan kolumnar yang dioptimalkan untuk beban kerja analitik besar, seperti Apache Parquet atau Optimized Row Columnar (ORC). Lapisan ini memberikan manfaat utama dari data lakehouse—kemampuannya untuk mengakomodasi hampir semua jenis data secara efisien.

Lapisan metadata adalah katalog terpadu yang mengatur dan memberikan informasi tentang data di lake. Ini biasanya didukung oleh format tabel terbuka seperti Apache Iceberg, Apache Hudi atau Delta Lake.

Kemampuan lapisan ini memungkinkan transaksi ACID, perjalanan waktu, dan penegakan skema, yang membantu meningkatkan tata kelola data. Kontrol akses yang kuat di lapisan ini sangat penting bagi organisasi yang menangani data sensitif dan berharga untuk melacak akses data dan modifikasi untuk mempertahankan jejak audit.¹

Antarmuka pemrograman aplikasi (API) menyediakan akses standar ke data lakehouse dan metadata. Secara khusus, lapisan ini memberi konsumen data dan pengembang kesempatan untuk menggunakan berbagai Analytics Engine dan kerangka kerja machine learning (seperti Tensorflow) untuk menjalankan advanced analytics dan model training langsung pada lakehouse data.

Lapisan terakhir dari arsitektur data lakehouse menjadi tempat bagi aplikasi dan alat yang memiliki akses ke semua data yang tersimpan di dalam lake. Hal ini membuka akses data ke pengguna di seluruh organisasi, yang dapat menggunakan lakehouse untuk melakukan tugas-tugas seperti membuat dasbor intelijen bisnis, visualisasi data dan pekerjaan machine learning.

Arsitektur data medallion (MDA) adalah pendekatan desain data berlapis-lapis yang berfokus pada kualitas yang memastikan data lakehouse secara progresif dibersihkan, divalidasi dan dapat dipercaya saat pindah dari konsumsi ke konsumsi. Ini dapat membantu organisasi membangun data lakehouse yang dapat diskalakan dan diatur yang cocok untuk pelaporan bisnis sehari-hari serta beban kerja analisis lanjutan dan machine learning.

Skalabilitas itu sangat penting untuk menjaga kualitas seiring bertambahnya volume data. Menurut tolok ukur Januari 2025, 87,4% organisasi menemukan kerangka kerja kualitas data lama menjadi tidak berkelanjutan secara operasional melebihi tujuh petabyte.²

Kerangka kerja ini mengatur data ke dalam tiga lapisan yang berbeda di sepanjang siklus hidupnya: perunggu, perak, dan emas—meningkatkan kualitas data di setiap langkah.

• Lapisan perunggu diperuntukkan untuk data mentah. Ini mempertahankan data asli persis seperti ketika diterima dari sistem sumber. Hal ini menjamin selalu ada file sumber yang tidak dapat diubah, sehingga menghilangkan risiko data hilang atau ditimpa selama transformasi.
  
  
• Lapisan perak adalah tempat data secara aktif dibersihkan, distrukturkan, dan diperkaya. Ini menyatukan catatan yang saling bertentangan atau duplikat ke dalam satu sumber data untuk analitik dan pelaporan operasional.
  
  
• Lapisan emas berisi data yang disempurnakan dan siap bisnis—sumber kebenaran tunggal tepercaya yang ideal untuk pengambilan keputusan strategis. Semua metrik bisnis penting ditentukan dan dihitung sebelumnya di lapisan ini.

Lapisan emas juga memperkuat kesiapan AI. Ini menyediakan aliran siap untuk AI berkualitas tinggi langsung ke saluran ML, yang dapat membantu meningkatkan akurasi model dan mengurangi upaya persiapan data.

Perkembangan data terstruktur ini memastikan bahwa setiap file data akhir dapat ditelusuri mundur melalui transformasi ke keadaan semula. Ini juga memberikan biaya yang lebih dapat diprediksi dan sering kali lebih rendah, karena penyimpanan data dan sumber daya komputasi dapat dioptimalkan sesuai dengan tujuan setiap lapisan.

Data lakehouse menawarkan beberapa fitur utama:

• Buka format file
• Transaksi ACID
• Data terpadu
• Penyimpanan yang hemat biaya
• Fleksibilitas beban kerja
• Tata kelola data yang kuat
• Skalabilitas
• Dukungan streaming real-time

Format penyimpanan terbuka dan berkolom (atau format data terbuka) seperti Apache Parquet atau ORC meningkatkan kinerja kueri dan mengurangi biaya penyimpanan melalui kompresi yang efisien, pemangkasan kolom, dan pushdown predikat. Format ini kompatibel dengan Analytics Engine populer yang memungkinkan organisasi mengakses data yang sama, pada saat yang sama. Fungsionalitas ini membantu mereka menghindari vendor lock-in dan mencapai interoperabilitas di seluruh alat mereka yang berbeda.

Sebagian besar rumah danau data menggunakan format tabel terbuka seperti Apache Iceberg, Apache Hudi, dan Delta Lake untuk menyediakan transaksi ACID. Transaksi ini, seperti menyisipkan, memperbarui, dan menghapus, menjamin bahwa data tetap konsisten dan dapat diandalkan selama dan setelah operasi data.

Sistem penyimpanan data tunggal menciptakan platform terpusat yang dapat memenuhi semua kebutuhan data bisnis, mengurangi silo data dan duplikasi di seluruh sistem dan tim. Penyatuan ini juga menyederhanakan observabilitas data menyeluruh karena pergerakan data melalui berbagai pipeline dan sistem data berkurang secara signifikan.

Data lakehouse memanfaatkan cloud object storage berbiaya rendah, menjadikannya lebih hemat biaya untuk volume data dan beban kerja yang besar daripada data warehouse tradisional. Arsitektur hybrid dari data lakehouse juga menghilangkan kebutuhan untuk memelihara beberapa penyimpanan data, sering kali mengurangi biaya operasional.

Data lakehouse dapat menangani contoh penggunaan yang berbeda di seluruh siklus hidup manajemen data. Mereka dapat mendukung kecerdasan bisnis dan alur kerja visualisasi berbasis data, atau proyek ilmu data yang lebih kompleks (seperti pelatihan model machine learning atau analitik real-time), semuanya pada data yang sama.

Arsitektur data lakehouse memitigasi masalah tata kelola data lake dengan katalog metadata terpusat, penegakan skema, dan alat manajemen kualitas data bawaan. Keamanan data dapat diperkuat dengan menggunakan kontrol akses, pemantauan dan audit, anonimisasi data, blockchain, dan bahkan komputasi kuantum.^3,4

Data lake house memisahkan penyimpanan dan komputasi, memungkinkan tim data untuk menskalakan penyimpanan dan komputasi secara terpisah. Decoupling ini juga memberikan fleksibilitas untuk mengakses data yang sama saat menggunakan mesin komputasi atau node yang berbeda untuk aplikasi yang berbeda.

Data lakehouse modern dibangun untuk bisnis dan teknologi saat ini. Banyak sumber data berisi data streaming real-time dari sumber seperti perangkat Internet of Things. Sistem lakehouse mendukung sumber-sumber ini melalui penyerapan data real-time dan pemrosesan bertahap.

Data lakehouse bukan hanya data warehouse yang dikombinasikan dengan data lake. Ini adalah arsitektur terpadu yang menyatukan bagian-bagian terbaik dari keduanya menjadi satu platform.

Data warehouse dibangun untuk analisis terstruktur. Mereka memberikan kinerja yang sangat baik untuk aplikasi intelijen bisnis dan pelaporan dengan menyimpan dan mengubah data perusahaan.

Namun, data warehouse tidak memiliki fleksibilitas data lake. Mereka dibatasi oleh inefisiensi dan biaya karena volume data dan beban kerja bertambah. Pergudangan data juga memerlukan skema yang ketat, yang berarti data harus sesuai dengan model yang telah ditentukan sebelum disertakan ke repositori data (schema-on-write). Karena kendala ini, mereka tidak bekerja dengan baik dengan data tidak terstruktur atau semi-terstruktur, yang sangat penting untuk contoh penggunaan AI dan ML.

Data lake memungkinkan organisasi untuk menyimpan semua jenis data—terstruktur, tidak terstruktur dan semi-terstruktur—dari beragam sumber di satu lokasi. Mereka menggunakan pendekatan schema-on-read, sehingga model data diterapkan ketika data digunakan daripada saat disimpan. Mereka juga biasanya memiliki penyimpanan data yang lebih dapat diskalakan dan terjangkau (sering kali cloud object storage).

Namun, mereka tidak memiliki alat pemrosesan data bawaan dan mengandalkan kemampuan eksternal untuk melakukan analitik. Ukuran dan kompleksitasnya juga dapat membutuhkan keahlian pengguna yang lebih teknis, seperti ilmuwan data dan insinyur data. Dan, karena tata kelola data terjadi di hilir, data lake dapat rentan terhadap silo data, kemudian beralih ke data swamp (di mana data yang baik tidak dapat diakses karena manajemen yang buruk).

Rumah data lake dirancang untuk mengatasi tantangan data warehouse dan data lake, membawa manfaat di bawah satu platform. Mereka memanfaatkan penyimpanan fleksibel dan berbiaya rendah yang mendukung berbagai jenis data sekaligus memberikan manajemen data dan kemampuan berkinerja tinggi untuk mendukung beban kerja BI, analitik, dan AI/ML dalam satu arsitektur.

Anson Kokkat, Manajer Produk Utama IBM Software, menekankan pentingnya lakehouse untuk program AI modern:

“Model AI hanya sebaik platform data yang diatur dan dapat diskalakan di bawahnya. Data lakehouse yang tepat menjadi fondasi yang mengubah data perusahaan mentah menjadi AI siap produksi. Ketika dibangun di atas arsitektur terbuka, itu diterjemahkan ke fleksibilitas AI—Anda tidak terkunci dalam satu mesin, Anda dapat mengintegrasikan dengan alat sumber terbuka yang ada seperti Presto, Apache Spark, OpenSearch, dan Cassandra.”

Manfaat utama lainnya: Organisasi sering kali dapat mengimplementasikan data lakehouse di samping data lake dan gudang data yang ada tanpa perlu melakukan pembongkaran dan pembangunan ulang secara menyeluruh.

Saat ini, banyak penyedia menawarkan data lakehouses terbuka. Arsitektur ini mendukung data terbuka dan format terbuka untuk menyimpan sejumlah besar data dalam format vendor-agnostik, seperti Parquet, Avro dan Apache ORC. Ini juga dapat memanfaatkan Apache Iceberg untuk berbagi volume besar data melalui format tabel terbuka.

Tantangan umum di data lakehouse termasuk implementasi yang kompleks (termasuk migrasi dari platform data yang ada); menyeimbangkan tata kelola data dan keamanan dengan akses data terpadu; dan memastikan bahwa kinerja tetap optimal seiring bertambahnya volume data.

Ya. Data lakehouse mendukung beban kerja AI dan ML dengan menyediakan akses terpadu ke volume besar data beragam dengan tata kelola yang kuat. Mereka menggunakan data terbuka dan format tabel terbuka untuk mencegah vendor lock-in dan memungkinkan Integrasi antara penyimpanan dan kerangka kerja ML.

Itu bisa, tetapi apakah itu harus tergantung pada prioritas data Anda. Lakehouse adalah pilihan yang kuat untuk menyimpan beragam data besar dan mendukung beban kerja AI/ML, sementara gudang tetap berguna untuk kebutuhan data latensi rendah yang lebih terstruktur atau berkinerja tinggi. Banyak organisasi menggunakan kedua platform tersebut.

Menghindari rawa data membutuhkan tata kelola data yang kuat, kualitas data , dan praktik keamanan data. Selain itu, arsitektur penyimpanan berjenjang (medali) menjaga data tetap teratur, dan format tabel terbuka dengan transaksi ACID membantu memastikan integritas, konsistensi, dan keandalan data.