Sobre as Cookies neste site Nossos sites requererem alguns cookies para funcionarem corretamente (obrigatório). Além disso, outros cookies podem ser usados com seu consentimento para analisar o uso do site, melhorar a experiência do usuário e para publicidade. Para obter mais informações, revise as opções de. Ao visitar nosso website, você concorda com nosso processamento de informações conforme descrito nadeclaração de privacidade da IBM. Para proporcionar uma navegação tranquila, suas preferências de cookie serão compartilhadas nos domínios da web da IBM listados aqui.
Melhorando a engenharia de ML com observabilidade de dados
The Weather Company + IBM Databand
Qaish Kanchwala é Gerente de Engenharia de Aprendizado de máquina (ML) na The Weather Company®. Ele gerencia uma equipe de oito engenheiros, incluindo DevOps, ML e engenheiros de dados. Eles são responsáveis por construir e treinar os modelos de ML usados na produção para a The Weather Company. A maioria de suas responsabilidades envolve projetar soluções para a equipe de engenharia e garantir que o trabalho seja feito a tempo.
A The Weather Company se tornou uma organização que prioriza os dados. Para a equipe de Kanchwala, isso significa trabalhar com dados em casos de uso de ML para publicidade de clientes, personalização e previsões de condições de saúde. Como o estado futuro da publicidade não depende mais de cookies ou outros identificadores, sua equipe usa dados para prever segmentos de usuários. Esses segmentos de usuários são então usados para várias campanhas publicitárias.
A precisão destes segmentos de usuários pode ter um impacto na geração de receitas, por isso é fundamental que Kanchwala e a sua equipe utilizem os dados mais precisos, otimizados para estas campanhas. Por exemplo, uma menor precisão nos modelos pode resultar numa campanha publicitária que sub-indexa o segmento que o cliente pretende atingir ou que não atinge o segmento de público-alvo pretendido.
Como eles usam pipelines de dados como Apache Airflow e Sagemaker para fazer essas previsões de modelo, os pipelines precisam ser confiáveis e os dados precisam ser precisos.
"Para nossa perspectiva, muitas decisões de negócios estão sendo tomadas nos segmentos e previsões que fazemos", diz Kanchwala. "À medida que construímos esses segmentos, nos esforçamos para garantir que os dados que entram nos pipelines de previsão sejam precisos, para que as previsões que saem desses pipelines sejam precisas. Qualquer perda de precisão aqui pode afetar as decisões de negócios ou os resultados financeiros de alguém.”
Como para a maioria das equipes de engenharia de dados e ML, foi um desafio acompanhar o desempenho do modelo ao longo do tempo e inserir alertas proativos para ser notificado quando ocorrem alterações. Se sua equipe não estiver ciente dos problemas de dados, um cliente poderá estar tomando decisões usando previsões baseadas em dados desatualizados ou menos relevantes.
Esses desafios levaram a The Weather Company a implementar o software IBM® Databand® como sua solução de observabilidade de dados. O Databand ajuda a empresa a resolver proativamente problemas de dados antes que eles possam impactar os negócios.
Antes do Databand, a equipe de Kanchwala não tinha uma ferramenta de monitoramento completa para rastrear o desvio de dados ao longo do tempo. O número limitado de alertas e relatórios que eles emitiram exigiu muita intervenção manual.
“Pensamos em usar outras ferramentas, mas no final das contas elas não se enquadravam em nosso processo de engenharia de dados para linhagem”, diz Kanchwala. “Outras ferramentas podem ser ótimas para monitoramento de aplicativos ou memória, mas não para pipelines de dados.”
A equipe usa os recursos de monitoramento de dados “sempre ativos” do Databand para rastrear o desvio de dados ao longo do tempo para seus recursos de ML e resultados de modelo. Do ponto de vista da engenharia de dados, o Databand mostra a linhagem do pipeline de dados e a análise de impacto durante o tempo de execução.
Clique aqui
Desde o uso do Databand, a equipe de engenharia de dados e ML aprimorou sua linhagem de dados e o rastreamento de SLA.
"Sem uma visão operacional como a do Databand, seria extremamente difícil entender a integridade geral de nossos pipelines de ML", diz Kanchwala. "A integração do rastreamento de disponibilidade e métricas agregadas do Airflow têm sido muito úteis. Eu gosto de olhar para o Databand e ver os dados do Airflow em um dashboard.”
No geral, a The Weather Company melhorou seus KPIs de engenharia de dados com:
- visibilidade e transparência contínuas: a visão operacional da Databand mostra instantaneamente a integridade de seus pipelines Apache Airflow e Sagemaker.
- Alertas de SLA aprimorados e acompanhamento de métricas: a The Weather Company implementou o Databand como um "portão de qualidade" antes de empurrar mudanças para a produção. Isso força os engenheiros de dados e ML a realizar uma verificação de qualidade obrigatória no desenvolvimento antes de avançar para a produção.
- Monitoramento da qualidade dos dados: como o Databand se integra a qualquer ambiente do Apache Airflow, os engenheiros de dados podem ver exatamente qual etapa causa um incidente de dados e resolvê-lo mais rapidamente.
Clique aqui
A The Weather Company é a fornecedora líder mundial de meteorologia1, ajudando pessoas e empresas a tomar decisões mais informadas e agir em face do clima. As soluções de alto volume de dados meteorológicos, insights, publicidade e mídia da The Weather Company na web aberta ajudam pessoas, empresas e marcas em todo o mundo a se prepararem e aproveitarem o poder do clima de uma forma escalável e voltada para a privacidade.
1 De acordo com a Comscore, o The Weather Channel foi o maior fornecedor de previsões meteorológicas em todo o mundo (web e aplicativo) em 2022, com base na média do total de visitantes únicos mensais. Comscore Media Metrix®, Worldwide Rollup Media Trend, Notícias/Informações — Categoria de clima incl. The [M] Weather Channel, The, jan-dez. Média de 2022
Legal
© Copyright IBM Corporation 2023. IBM corporation, New orchard road, Armonk, NY 10504
Produzido nos Estados Unidos da América, em dezembro de 2023.
IBM, o logotipo IBM, ibm.com e Databand são marcas comerciais ou marcas registradas da International Business Machines Corporation nos Estados Unidos e/ou em outros países. Outros nomes de produtos e serviços podem ser marcas comerciais da IBM ou de outras empresas. Há uma lista atualizada com as marcas comerciais da IBM disponível em ibm.com/legal/copyright-trademark.
Autobrand, Cloud and Rainbow™ device, Icebreaker Studios, Socialand device, The Lift™, The Weather Company, The Weather Companyand device, The Weather Underground, TWC, Weather Bonk, Weather Exchange, Weather FX and device™, Weather Means Business, Weather Quickie, Weather Underground, Weather.com, WeatherFX, WU, WU e dispositivo, Wunderground™, Wunderground.com, Wundermap e Wunderradio são marcas comerciais ou marcas registradas da TWC Product and Technology, LLC, uma empresa IBM.
Este documento é atual na data de sua publicação inicial, podendo ser alterado pela IBM a qualquer momento. Nem todas as ofertas estão disponíveis em todos os países em que a IBM opera.
Todos os exemplos de clientes citados ou descritos são apresentados como ilustrações da maneira como alguns clientes usaram os produtos da IBM e os resultados que eles podem ter alcançado. Os custos ambientais reais e as características de desempenho variarão dependendo das configurações e condições individuais dos clientes. Geralmente, não é possível garantir os resultados esperados, pois os resultados de cada cliente dependerão inteiramente dos sistemas e serviços adquiridos. AS INFORMAÇÕES NESTE DOCUMENTO SÃO APRESENTADAS "COMO ESTÃO", SEM QUALQUER GARANTIA EXPRESSA OU IMPLÍCITA, INCLUSIVE SEM QUALQUER GARANTIA DE COMERCIABILIDADE, ADEQUAÇÃO A UM DETERMINADO FIM NEM QUALQUER GARANTIA DE NÃO INFRAÇÃO. Os produtos da IBM têm garantia de acordo com os termos e condições dos contratos sob os quais são fornecidos. [