Saat GCDO memulai perjalanan data dan AI-nya, solusi IBM Cloud Pak for Data masih belum ada. Sementara CEDP mendorong kemajuan yang signifikan, pengembangan solusi IBM Cloud Pak for Data memberikan GCDO keuntungan di kandang sendiri untuk membawa platformnya sendiri ke tingkat berikutnya.
Sebagai rangkaian layanan dan ekstensi yang bisa digunakan sesuai kebutuhan, solusi IBM Cloud Pak for Data memberikan fleksibilitas yang dibutuhkan GCDO untuk melakukan modernisasi secara bertahap dan memulai dengan kebutuhan yang paling tinggi terlebih dahulu. Tidak ada perintah preskriptif untuk adopsi atau penerapan.
GCDO pertama kali mulai menggunakan rangkaian layanan AI dalam solusi IBM Cloud Pak for Data, termasuk solusi IBM Watson Studio. Teknologi IBM Watson Studio berjalan on premises dan di cloud, dengan menganalisis data dalam solusi IBM Db2 Big SQL. Detail dari bagian perjalanan modernisasi GCDO ini dijelaskan dalam studi kasus ini.
Untuk langkah selanjutnya dalam perjalanan ini, GCDO beralih ke teknologi DataStage untuk secara dramatis meningkatkan kecepatan menyerap data dalam jumlah besar dengan stabilitas dan akurasi.
"Setelah beberapa bulan menyiapkan server, membuat koneksi database, dan konfigurasi coba-coba serta upaya belajar mandiri, 60 juta tabel catatan masih membutuhkan waktu tiga hari untuk direplikasi," ujar Frank Duffy, Manajer Proyek Senior di Data Induk GCDO. "Melihat statistik tersebut, dengan sekitar 20 tabel besar yang masih tersisa, kami membutuhkan waktu 60 hari lagi hanya untuk memigrasikan data."
Tim Data Movement GCDO menguji performa teknologi DataStage dan Spark dalam menjalankan contoh penggunaan beban data yang umum. Pada lebih dari 75% kasus, mereka mencapai kinerja yang lebih baik dengan teknologi DataStage dibandingkan dengan teknologi Spark. Untuk 25% sisanya dengan hasil hampir sama.
Selain kinerja, faktor-faktor yang menarik GCDO ke solusi DataStage meliputi:
- Integrasi dengan ekosistem IBM Cloud Pak for Data, khususnya terkait dengan IBM Watson Knowledge Catalog dan silsilah data
- Luasnya sumber, target, dan tahap peralihan yang didukung yang memenuhi kebutuhan saat ini dan ke depan
- Tahapan khusus untuk merangkum kebutuhan ke dalam unit yang dapat digunakan kembali bila diperlukan
- Kemampuan yang mendukung pendekatan berbasis pola
Solusi IBM Cloud Pak for Data selaras dengan beberapa sumber data industri dan terus mengembangkan sumber-sumber tersebut untuk memenuhi teknologi baru. Solusi DataStage untuk IBM Cloud Pak for Data hadir dalam bentuk bundel dengan inventaris konektor industri yang besar, yang mewakili sebagian besar penyimpanan data yang ingin digunakan oleh para pengguna GCDO. Konektor ini berarti bahwa GCDO dapat bekerja dengan berbagai format dan sistem penyimpanan yang berbeda tanpa perlu menulis kode apa pun.
Dalam kasus-kasus di mana konektor belum tersedia, konektor khusus dapat dikembangkan, menerapkan, dan dijatuhkan ke kanvas.
Solusi DataStage for IBM Cloud Pak for Data juga menawarkan fungsionalitas Runtime Column Propagation, yang menarik bagi para insinyur GCDO karena memungkinkan pendekatan berbasis pola untuk pergerakan data. Dengan mengekspresikan pola pergerakan data umum sebagai pekerjaan, GCDO meningkatkan operasi untuk mendukung ribuan tabel tanpa perlu menambah staf.
"Kemampuan pola DataStage untuk IBM Cloud Pak for Data memungkinkan kami untuk memiliki satu pekerjaan yang bisa dijalankan dengan ribuan cara," ujar Rick McCall, Pemimpin Teknis GCDO untuk Alat Pergerakan Data. "Dalam beberapa kasus, kami memiliki lebih dari 8.000 pekerjaan - halaman demi halaman - yang dapat dikaitkan dengan satu pola dan dijalankan sebagai satu pekerjaan. Itu berarti satu set kode, kinerja yang dioptimalkan, dan kontrol sumber yang semuanya digabungkan menjadi satu solusi super cepat dan super andal."
Manfaat lain dari solusi DataStage untuk IBM Cloud Pak for Data adalah solusi ini terintegrasi dengan lancar bersama RedHat OpenShift. Solusi ini juga menawarkan dukungan API sehingga pengguna dapat membangun alur kerja khusus di sekitarnya jika diperlukan.
"DataStage untuk IBM Cloud Pak for Data merupakan sebuah pengubah permainan untuk konsumsi data kami," ujar Peter Herr, Pemimpin Global untuk Data Induk Klien. "Tim kami telah mencoba segalanya dalam batasan sistem yang ada dan masih menemui jalan buntu untuk menyelesaikan migrasi data dalam jumlah besar yang kami perlukan. Ketika Rick dan tim menunjukkan kepada kami kecepatan dan kekuatan DataStage, kami menjadi produktif dalam hitungan minggu, bukan bulan."