Informazioni sui cookie del presente sito Per il corretto funzionamento, i nostri siti Web richiedono alcuni cookie (richiesto). Inoltre, con il suo consenso, potrebbero essere utilizzati altri cookie per l'analisi dell'utilizzo del sito, per migliorare l'esperienza utente e per scopi pubblicitari. Per ulteriori informazioni, consultare le. Visitando il nostro sito web, accettate il trattamento delle informazioni da parte nostra come descritto nelladichiarazione sulla privacy di IBM. Per consentire una corretta navigazione, le preferenze per i cookie dell'utente verranno condivise sui domini Web IBM qui elencati.
Migliorare l'ingegneria di ML con l'osservabilità dei dati
The Weather Company + IBM Databand
Qaish Kanchwala è Engineering Manager di Machine Learning (ML) presso The Weather Company e gestisce un team di otto ingegneri di DevOps, ML e data engineer. Il team è responsabile della costruzione e dell'addestramento dei modelli ML utilizzati nella produzione per The Weather Company. La maggior parte delle sue responsabilità riguardano la progettazione di soluzioni per il team di ingegneri e la garanzia che il lavoro venga svolto in tempo.
The Weather Company è diventata un'organizzazione data-first. Per il team di Kanchwala, questo significa lavorare con i dati su casi d'uso di apprendimento automatico (ML) per la pubblicità dei clienti, la personalizzazione e le previsioni sulle condizioni di integrità. Poiché lo stato futuro della pubblicità non fa più affidamento su cookie o altri identificatori, il suo team utilizza i dati per prevedere i segmenti di utenti, che vengono poi utilizzati per varie campagne pubblicitarie.
L'accuratezza di questi segmenti di utenti può avere un impatto sulla generazione di entrate, quindi è fondamentale che Kanchwala e il suo team utilizzino i dati più accurati, ottimizzati per queste campagne. Ad esempio, una minore precisione dei modelli può portare a campagne pubblicitarie sottoindicizzate rispetto al segmento che il cliente intende raggiungere o che non raggiungono il segmento di pubblico previsto.
Poiché per effettuare queste previsioni del modello utilizzano pipeline di dati come Apache Airflow e Sagemaker, le pipeline devono essere affidabili e i dati devono essere accurati.
"Dal nostro punto di vista, molte decisioni aziendali vengono prese in base ai segmenti e alle previsioni che facciamo", afferma Kanchwala. "Nella costruzione di questi segmenti, ci impegniamo a garantire che i dati inseriti nelle pipeline di previsione siano accurati, in modo che le previsioni da esse ottenute siano accurate. Qualsiasi perdita di precisione, in questo caso, avrebbe un grave impatto sulle decisioni aziendali o sui profitti di qualcuno".
Come per la maggior parte dei team di data engineering e ML engineering, era difficile monitorare le prestazioni del modello nel tempo e inserire avvisi proattivi per sapere quando si verificano cambiamenti. Se il suo team non è consapevole dei problemi legati ai dati, il cliente potrebbe prendere decisioni utilizzando previsioni basate su dati obsoleti o poco rilevanti.
Queste sfide hanno portato The Weather Company a implementare il software IBM Databand come soluzione di osservabilità dei dati. Databand aiuta l'azienda a risolvere in modo proattivo i problemi relativi ai dati prima che possano influire sul business.
Prima di Databand, il team di Kanchwala non disponeva di uno strumento di monitoraggio completo per tenere traccia della deriva dei dati nel tempo. Il numero limitato di avvisi e report che avevano richiedeva un notevole intervento manuale.
"Abbiamo preso in considerazione l'utilizzo di altri strumenti, ma non rientravano nel nostro processo di data engineering per il lineage", afferma Kanchwala. "Altri strumenti possono essere ottimi per il monitoraggio delle applicazioni o della memoria, ma non per le pipeline di dati."
Il team utilizza le funzionalità di monitoraggio dei dati "always-on" di Databand per monitorare la deriva dei dati nel tempo per le funzioni di ML e gli output dei modelli. Dal punto di vista del data engineering, Databand mostra il percorso della pipeline di dati e l'analisi dell'impatto durante l'esecuzione.
Fai clic qui
Da quando hanno iniziato a utilizzare Databand, il team di data engineering e ML ha migliorato la derivazione dei dati e il monitoraggio degli SLA.
"Senza una visione operativa come quella di Databand, sarebbe estremamente difficile comprendere lo stato generale delle nostre pipeline ML", spiega Kanchwala. "L'integrazione del monitoraggio della disponibilità e dei parametri aggregati di Airflow è stata estremamente utile. Trovo che la possibilità di guardare Databand e di vedere i dati del flusso d'aria in un unico dashboard sia molto importante."
Complessivamente, The Weather Company ha migliorato i suoi KPI di data engineering con:
- Visibilità continua e trasparenza: la visione operativa di Databand mostra immediatamente lo stato di integrità delle sue pipeline Apache Airflow e Sagemaker.
- Avvisi SLA e monitoraggio delle metriche migliorati: The Weather Company ha implementato Databand come controllo di qualità prima di apportare modifiche alla produzione. Ciò costringe i data engineer e gli ingegneri di ML a eseguire un controllo di qualità obbligatorio in fase di sviluppo prima di passare alla produzione.
- Monitoraggio della qualità dei dati: poiché Databand si integra con qualsiasi ambiente Apache Airflow, i data engineer possono vedere esattamente quale passaggio causa un problema ai dati e risolverlo più rapidamente.
Fai clic qui
The Weather Company è un'azienda IBM, è il principale fornitore1 di servizi meteorologici al mondo e aiuta le persone e le aziende a prendere decisioni più informate e ad agire in caso di maltempo. L'alto volume di dati meteorologici di The Weather Company, le soluzioni di insight, pubblicità e media attraverso l'open web aiutano le persone, le aziende e i brand di tutto il mondo a prepararsi e a sfruttare il potere del meteo in modo scalabile e rispettoso della privacy.
1 Secondo Comscore, The Weather Channel è stato il principale fornitore di previsioni meteorologiche al mondo (web e app) nel 2022 in base alla media del totale dei visitatori unici mensili. Comscore Media Metrix, Worldwide Rollup Media Trend, News/Information – La categoria meteorologica include The [M] Weather Channel, The, medie di gen-dic 2022
Legale
© Copyright IBM Corporation 2023. IBM Corporation, New Orchard Road, Armonk, NY 10504
Prodotto negli Stati Uniti d'America, dicembre 2023.
IBM, il logo IBM, ibm.com e Databand sono marchi o marchi registrati di International Business Machines Corporation, negli Stati Uniti e/o in altri Paesi. Altri nomi di prodotti e servizi potrebbero essere marchi di IBM o di altre società. Un elenco aggiornato dei marchi IBM è disponibile all'indirizzo ibm.com/legal/copyright-trademark.
Autobrand, il marchio figurativo Cloud e Rainbow™, Icebreaker Studios, Social e marchio figurativo, The Lift™, The Weather Company, The Weather Company e marchio figurativo, The Weather Underground, TWC, Weather Bonk, Weather Exchange, Weather FX and device™, Weather Means Business, Weather Quickie, Weather Underground, Weather.com, WeatherFX, WU, WU e marchio figurativo, Wunderground™, Wunderground.com, Wundermap e Wunderradio sono marchi o marchi registrati di TWC Product and Technology, LLC, una società IBM.
Le informazioni contenute nel presente documento sono aggiornate alla data della prima pubblicazione e possono essere modificate da IBM senza preavviso. Non tutte le offerte sono disponibili in ogni Paese in cui opera IBM.
Tutti gli esempi citati relativi a clienti sono presentati per illustrare il modo in cui alcuni clienti hanno utilizzato i prodotti IBM e i risultati da essi eventualmente conseguiti. I costi effettivi relativi agli ambienti e le caratteristiche inerenti alle performance possono variare a seconda delle specifiche configurazioni e condizioni del cliente. In generale non è possibile fornire risultati attesi, in quanto i risultati di ciascun cliente dipendono interamente dai sistemi e dai servizi ordinati. LE INFORMAZIONI RIPORTATE NEL PRESENTE DOCUMENTO SONO DA CONSIDERARSI "NELLO STATO IN CUI SI TROVANO" SENZA GARANZIE, ESPLICITE O IMPLICITE, IVI INCLUSE GARANZIE DI COMMERCIABILITÀ, DI IDONEITÀ A UN PARTICOLARE SCOPO E GARANZIE O CONDIZIONI DI NON VIOLAZIONE. I prodotti IBM sono coperti da garanzia in accordo con termini e condizioni dei contratti sulla base dei quali vengono forniti. [