Beranda Studi kasus Databand - The Weather Company Meningkatkan rekayasa ML dengan observabilitas data
The Weather Company + IBM Databand
Pemandangan kota besar berkabut dari atas
Tim dan proyek

Qaish Kanchwala adalah Manajer Teknik Machine Learning (ML) di The Weather Company. Dia mengelola tim yang terdiri dari delapan insinyur, termasuk DevOps, ML dan insinyur data. Mereka bertanggung jawab untuk membangun dan melatih model ML yang digunakan dalam produksi untuk The Weather Company. Sebagian besar tanggung jawabnya adalah merancang solusi untuk tim teknik dan memastikan pekerjaan selesai tepat waktu.

The Weather Company telah berubah menjadi organisasi yang mengutamakan data. Bagi tim Kanchwala, ini berarti bekerja dengan data contoh penggunaan ML untuk periklanan pelanggan, personalisasi, dan prediksi kondisi kesehatan. Karena masa depan periklanan tidak lagi bergantung pada cookie atau pengidentifikasi lainnya, tim menggunakan data untuk memprediksi segmen pengguna. Segmen pengguna ini kemudian digunakan untuk berbagai kampanye iklan.

Tanpa pandangan operasional seperti Databand, akan sangat sulit untuk memahami kesehatan pipeline ML kami secara keseluruhan. Integrasi pelacakan ketersediaan dan metrik gabungan dari Airflow sangat berguna. Saya menghargai dapat melihat Databand dan melihat data Airflow dalam satu dasbor. Qaish Kanchwala Manajer Teknik Machine Learning (ML) Weather Company
Masalahnya

Keakuratan segmen pengguna ini dapat berdampak pada perolehan pendapatan, jadi sangat penting bagi Kanchwala dan timnya untuk menggunakan data yang paling akurat, yang dioptimalkan untuk kampanye ini. Sebagai contoh, akurasi yang kurang dalam model dapat menghasilkan kampanye iklan yang kurang tepat untuk segmen yang ingin dijangkau oleh pelanggan atau yang tidak menjangkau segmen audiens yang dituju.

Karena mereka menggunakan alur data seperti Apache Airflow dan Sagemaker untuk membuat prediksi model ini, alur harus dapat diandalkan, dan data harus akurat.

"Untuk perspektif kami, banyak keputusan bisnis dibuat berdasarkan segmen dan prediksi yang kami buat," kata Kanchwala. "Ketika kami membangun segmen-segmen ini, kami berusaha keras untuk memastikan bahwa data yang masuk ke dalam pipeline prediksi akurat sehingga prediksi yang keluar dari pipeline tersebut akurat. Setiap akurasi yang hilang di sini dapat memengaruhi keputusan bisnis seseorang atau keuntungan."

Seperti kebanyakan tim teknik data dan ML, sulit untuk melacak kinerja model dari waktu ke waktu dan memasukkan peringatan proaktif untuk diberitahu ketika terjadi perubahan. Jika timnya tidak menyadari masalah data, maka pelanggan bisa saja mengambil keputusan dengan menggunakan prediksi berdasarkan data yang sudah ketinggalan zaman atau kurang relevan.

Solusinya

Tantangan-tantangan ini mendorong The Weather Company untuk mengimplementasikan perangkat lunak IBM Databand sebagai solusi observabilitas data. Databand membantu perusahaan secara proaktif menyelesaikan masalah data sebelum berdampak pada bisnis.

Sebelum Databand, tim Kanchwala tidak memiliki alat pemantauan lengkap untuk melacak penyimpangan data dari waktu ke waktu. Terbatasnya jumlah peringatan dan laporan yang mereka miliki membutuhkan banyak intervensi manual.

"Kami telah mempertimbangkan untuk menggunakan alat lain, namun pada akhirnya alat tersebut tidak cocok dengan proses rekayasa data kami untuk diturunkan," kata Kanchwala. "Alat-alat lain mungkin bagus untuk pemantauan aplikasi atau memori, namun tidak untuk jalur data."

Tim ini menggunakan kemampuan pemantauan data "selalu aktif" Databand untuk melacak penyimpangan data dari waktu ke waktu untuk fitur-fitur ML dan hasil model mereka. Dari perspektif rekayasa data, Databand menunjukkan jalur data dan analisis dampak selama proses.

Lihat seberapa besar IBM Databand dapat menghemat pengeluaran Anda.

Klik di sini

Hasil

Sejak menggunakan Databand, tim teknik data dan ML meningkatkan garis silsilah data dan pelacakan SLA mereka.

"Tanpa pandangan operasional seperti yang dimiliki Databand, akan sangat sulit untuk memahami kesehatan keseluruhan pipeline ML kami," kata Kanchwala. "Integrasi pelacakan ketersediaan dan metrik agregat dari Airflow sangat berguna. Saya menghargai dapat melihat Databand dan melihat data Airflow dalam satu dasbor.”

Secara keseluruhan, The Weather Company telah meningkatkan KPI rekayasa datanya dengan:

  • Visibilitas dan transparansi yang berkelanjutan: Tampilan operasional Databand secara instan menunjukkan kesehatan jaringan pipa Apache Airflow dan Sagemaker.
  • Peningkatan peringatan SLA dan pelacakan metrik: Weather Company telah menerapkan Databand sebagai "gerbang kualitas" sebelum mendorong perubahan pada produksi. Hal ini memaksa para insinyur data dan ML untuk melakukan pemeriksaan kualitas wajib dalam pengembangan sebelum melanjutkan ke tahap produksi.
  • Pemantauan kualitas data: Karena Databand terintegrasi dengan lingkungan Apache Airflow, teknisi data bisa melihat dengan tepat langkah mana yang menyebabkan insiden data dan mengatasinya dengan lebih cepat.
Kenali kemampuan observabilitas data Databand.

Klik di sini

Logo merek The Weather Company
Tentang The Weather Company

The Weather Company, adalah penyedia cuaca terkemuka di dunia1, yang membantu masyarakat dan bisnis membuat keputusan yang lebih tepat dan mengambil tindakan dalam menghadapi cuaca. Data cuaca bervolume tinggi, insight, iklan, dan solusi media The Weather Company di seluruh web terbuka membantu orang, bisnis, dan merek di seluruh dunia untuk mempersiapkan diri dan memanfaatkan kekuatan cuaca dengan cara yang dapat diskalakan dan mengedepankan privasi.

Menurut Comscore, The Weather Channel adalah penyedia prakiraan cuaca terbesar di seluruh dunia (web dan aplikasi) pada tahun 2022 berdasarkan rata-rata total pengunjung unik bulanan. Comscore Media Metrix, Tren Media Rollup Seluruh Dunia, kategori Berita/Informasi – Cuaca termasuk. The [M] Weather Channel, The, Jan-Des. Rata-rata tahun 2022

Deteksi dan selesaikan masalah data Anda dengan lebih cepat.

Pesan demo langsung IBM Databand hari ini.

Memulai
Hukum

© Hak Cipta IBM Corporation 2023. IBM Corporation,  New Orchard Road, Armonk, NY 10504

Diproduksi di Amerika Serikat, Desember 2023.

IBM, IBM logo, ibm.com, dan Databand adalah merek dagang atau merek dagang terdaftar dari International Business Machines Corporation, di Amerika Serikat dan/atau negara lain. Nama produk dan layanan lain mungkin merupakan merek dagang milik IBM atau perusahaan lain. Daftar merek dagang IBM saat ini tersedia di ibm.com/legal/copyright-trademark.

Autobrand, perangkat Cloud and Rainbow™, Icebreaker Studios, Social dan perangkat, The Lift™, The Weather Company, The Weather Company dan perangkat, The Weather Underground, TWC,  Weather Bonk, Weather Exchange, Weather FX dan perangkat™, Weather Means Business, Weather Quickie, Weather Underground, Weather.com, WeatherFX, WU, WU dan perangkat, Wunderground™, Wunderground.com, Wundermap, dan Wunderradio adalah merek dagang atau merek dagang terdaftar dari TWC Product and Technology, LLC, Perusahaan IBM.

Dokumen ini adalah yang terbaru pada tanggal awal publikasi dan dapat diubah oleh IBM kapan saja. Tidak semua penawaran tersedia di setiap negara tempat IBM beroperasi.

Semua contoh klien yang dikutip atau dijelaskan disajikan sebagai ilustrasi tentang cara beberapa klien menggunakan produk IBM dan hasil yang mungkin telah mereka capai. Biaya lingkungan dan karakteristik kinerja yang sebenarnya akan bervariasi, tergantung pada konfigurasi dan kondisi tiap klien. Hasil yang secara umum diharapkan tidak dapat diberikan karena hasil yang setiap klien dapatkan akan bergantung sepenuhnya pada sistem dan layanan yang dipesan oleh klien. INFORMASI DALAM DOKUMEN INI DISEDIAKAN “SEBAGAIMANA ADANYA” TANPA JAMINAN APA PUN, BAIK TERSURAT MAUPUN TERSIRAT, TERMASUK TANPA JAMINAN UNTUK DAPAT DIPERJUALBELIKAN, KESESUAIAN UNTUK TUJUAN TERTENTU, DAN JAMINAN ATAU KETENTUAN APA PUN YANG TIDAK MELANGGAR. Produk IBM dijamin sesuai dengan syarat dan ketentuan perjanjian yang mengatur penyediaan produk tersebut. [