Autodesk + IBM
Steve Gotlieb adalah Manajer Senior untuk Rekayasa Data dan Visualisasi di Autodesk, sebuah perusahaan perangkat lunak multinasional yang menyediakan produk piranti lunak di berbagai industri. Dia mengelola tim rekayasa data dan platform global di seluruh Amerika Utara dan Singapura. Timnya berfokus pada pembuatan komponen yang dapat digunakan kembali yang berkontribusi pada platform data yang kuat dan andal yang mendukung solusi berbasis data.
Di bawah kepemimpinannya, Steve mulai memperjuangkan kualitas data sebagai komponen platform inti untuk mendukung konsep data mesh yang mempromosikan pendekatan data yang Anda miliki sendiri dan memungkinkan integrasi dan pemanfaatan data yang lancar di seluruh organisasi.
Satu tantangan signifikan yang berulang kali dihadapi tim Steve dan tim teknik data lainnya di Autodesk: mereka sering kali menjadi orang terakhir yang mengetahui ketika masalah data terjadi. Tim Steve terpaksa mengambil pendekatan reaktif untuk menyelesaikan masalah, baik itu data yang hilang, data yang terlambat atau basi, atau data yang salah dengan nilai nol.
Pada saat tim mengetahui masalah data, itu mungkin sudah ada selama sebulan atau lebih, menghabiskan waktu dan sumber daya perusahaan yang berharga.
"Kami sebelumnya memiliki sistem manajemen kualitas data (DQM) yang dibuat khusus, tetapi itu adalah solusi yang pasif dan tidak dapat diperluas," kata Steve. "Sistem DQM mengandalkan kueri yang sedang berjalan untuk memantau jumlah run, tetapi tidak secara proaktif mendeteksi masalah kualitas data. Pemberitahuan tentang masalah data tidak konsisten dan tertunda, sering kali tiba melalui email atau pesan Slack tanpa kepemilikan yang jelas."
Steve dan timnya mulai mengevaluasi solusi observabilitas data, menyadari perlunya pendekatan yang lebih proaktif. Mereka menjelajahi berbagai opsi, termasuk Monte Carlo Data dan Datafold, tetapi kemampuan observabilitas data yang tersedia dalam perangkat lunak IBM® watsonx.data integration (sebelumnya Databand) lebih unggul. Budaya inovasi Autodesk mendorongnya untuk melakukan sprint inovasi, menyatukan tim lintas fungsi untuk mengeksplorasi dan menampilkan solusi potensial. Preeti Taneja, Principal Data Engineer di Autodesk, memainkan peran penting dalam evaluasi ini. Timnya hanya memiliki waktu satu minggu untuk mendemonstrasikan bagaimana observabilitas data dapat mengubah proses kualitas datanya.
Mereka mengevaluasi apakah IBM watsonx.data integration (sebelumnya Databand) dapat mendeteksi perubahan dalam sistem sumber dan memberikan peringatan real-time jika terjadi kegagalan alur kerja. Hasilnya sangat mengesankan. Integrasi yang lancar dengan tumpukan data modern Autodesk, misalnya, Apache Airflow, dbt, Spark, dan Snowflake, serta kemampuan untuk memberikan peringatan instan meninggalkan kesan yang kuat.
"Kemudahan integrasi dengan tumpukan data modern kami memungkinkan kami untuk mendapatkan manfaatnya dengan segera," kata Preeti. “Ketika kami mulai mendapatkan peringatan instan, itu adalah momen yang benar-benar menakjubkan dari kemampuan kualitas data proaktifnya.”
Setelah penilaian internal, IBM watsonx.data integration (sebelumnya Databand) muncul sebagai pemenang yang jelas, memimpin tim untuk melanjutkan ke tahap implementasinya.
Tim Steve menggunakan IBM watsonx.data integration (sebelumnya Databand) setiap hari untuk memantau insiden data di berbagai contoh penggunaan, termasuk:
- Pengurangan deteksi: Pengurangan waktu pendeteksian yang tadinya memakan waktu berminggu-minggu dan berhari-hari, menjadi nol.
- Pemantauan pemrosesan batch: Lebih dari 1.000 DAG dipantau secara aktif.
- Pengujian sebaris: Tim menggunakan kemampuan pengujian inline untuk mendeteksi masalah kualitas data secara real time, yang sangat penting untuk menjaga integritas data.
- Dukungan produk data: Mendukung pipeline yang memberikan insight dan pesan dalam produk untuk pelanggan Autodesk.
- Pemantauan pipeline machine learning (ML) dan AI: Memantau pipeline yang mendukung tim ML dan AI, membantu memastikan bahwa kualitas data terjaga di semua tahap pemrosesan data.
Implementasi IBM watsonx.data integration (sebelumnya Databand) membawa peningkatan langsung dan signifikan pada manajemen kualitas data Autodesk:
- Pengurangan waktu deteksi: Mengurangi waktu untuk mendeteksi masalah kualitas data dari hari menjadi menit. Deteksi langsung ini memungkinkan tim untuk mengatasi masalah sebelum masalah tersebut dapat menyebabkan gangguan besar.
- Pengurangan waktu rata-rata untuk resolusi (MTTR): Waktu rata-rata untuk menyelesaikan masalah data turun dari minggu ke hari. Mendeteksi insiden, seperti data yang datang terlambat, perubahan skema, dan kegagalan pipeline, membantu menjaga kepercayaan dan efisiensi dalam organisasi
- Analisis akar masalah: Menyediakan analisis akar masalah lanjutan, memungkinkan tim mengidentifikasi dan memperbaiki masalah dengan cepat di sumbernya
- Integrasi yang mulus: Solusi terintegrasi lancar dengan platform Autodesk yang ada tanpa perlu menulis ulang pipeline inti Spark, Airflow, dan dbt. Integrasi ini mencakup pemantauan pemrosesan batch, jalur internal, dan data yang tidak aktif di lingkungan Snowflake
- Penghematan biaya: Autodesk melihat adanya penurunan biaya konsumsi cloud dengan mendeteksi masalah lebih awal dan menghindari pengulangan.
Autodesk telah melihat hasil nyata dalam meningkatkan kualitas data dan efisiensi operasional. Pelacakan permintaan fitur yang transparan semakin memperkuat kemitraan, memungkinkan peningkatan dan inovasi yang berkelanjutan.
Desainer, insinyur, pembangun, dan kreator dunia mempercayai Autodesk (tautan berada di luar ibm.com) untuk membantu mereka merancang dan membuat apa pun—mulai dari bangunan tempat kita tinggal dan bekerja, hingga mobil yang kita kendarai dan jembatan yang kita lewati. Bahkan produk yang kami gunakan dan andalkan setiap hari dan film serta game yang menginspirasi kami ada berkat Autodesk. Platform Design and Make Autodesk membuka kekuatan data untuk mempercepat insight dan mengotomatisasi proses, memberdayakan klien kami dengan teknologi untuk menciptakan dunia di sekitar kita dan memberikan hasil yang lebih baik untuk bisnis mereka dan planet ini. Untuk informasi lebih lanjut, kunjungi autodesk.com (tautan berada di luar ibm.com).
Hukum
© Hak Cipta IBM Corporation 2024. IBM, logo IBM, dan Databand adalah merek dagang atau merek dagang terdaftar dari IBM Corp, di A.S. dan/atau negara lain.
Ini adalah dokumen terbaru pada tanggal awal publikasi dan dapat diubah oleh IBM kapan saja. Tidak semua penawaran tersedia di setiap negara tempat IBM beroperasi.
Contoh klien disajikan sebagai ilustrasi tentang cara klien tersebut menggunakan produk IBM dan hasil yang mungkin telah mereka capai. Kinerja aktual, biaya, penghematan atau hasil lainnya di lingkungan operasi lain mungkin berbeda.