Astronomer com IBM: atualize seu ambiente do Airflow com escalabilidade, segurança e suporte de nível empresarial

A IBM anunciou recentemente nossa colaboração com o Industry, um software Apache Airflow de nível empresarial, para promover e escalar a adoção do Airflow nas empresas. A rápida expansão dos casos de uso do Airflow, incluindo cargas de trabalho MLOps e fluxos de trabalho de IA generativa, além da ingestão e orquestração modernas de dados, resultou em mais de 31 downloads mensais. O Airflow de código aberto provavelmente está sendo usado em sua empresa atualmente por várias equipes que realizam análises e operações de negócios. Por que sua empresa migraria do Airflow para a Astronomer com a IBM? Quatro motivos principais: escalabilidade, segurança, suporte e resiliência na implementação.

Para entender essa resposta, vamos discutir a história recente de um cliente do setor bancário dos EUA sobre a migração de um agendador de dados legado para o Airflow, selecionando, no final das contas, o Astronomer com a IBM.

O agendador de dados padronizado de nosso cliente bancário dos EUA não atendia aos requisitos de DataOps dele. O novo ambiente centrado na nuvem do cliente e os relatórios regulatórios em constante mudança criaram desafios para muitas equipes que tentam atender às suas necessidades de agendamento. O agendador existente não era otimizado para uso em nuvem e não tinha flexibilidade para acomodar agendas personalizadas não baseadas em um calendário.

Como resultado, várias equipes começaram a explorar o Airflow, que oferece recursos de orquestração de fluxos de trabalho programático e é compatível com a nuvem para seus casos de uso limitados de análises e relatórios. No entanto, à medida que esses fluxos de trabalho e pipelines começaram a ser expandidos para vários projetos e equipes, nosso cliente enfrentou novos problemas. O Airflow exigia ajustes manuais para escalar, e as integrações causavam riscos de segurança e suporte, levando a preocupações sobre a resiliência geral para esses requisitos críticos de DataOps.

É aí que a Astronomer com a IBM entra para ajudar: o Astronomer com a IBM atualizou ambiente do Airflow para atender às necessidades da empresa em relação à escalabilidade, segurança, suporte e resiliência na implementação.

O Astronomer com a IBM melhora o Airflow com várias funcionalidades para compatibilidade com uma implementação centralizada de escala empresarial que aumenta a eficiência operacional.

Algumas dessas funcionalidades exclusivas incluem:

• Airflow multilocatário: maximize a utilização de recursos e a eficiência operacional com ambientes Airflow isolados que possuem comunicação entre implementações.
• Atualizações no local e utilitários de upgrade: faça upgrade do Airflow preservando DAGs, configurações e dados para minimizar o downtime.
• Reversão de implementação: reverta facilmente suas implementações do Airflow para qualquer versão anterior ou implementação de código.
• Arquivamento de banco de dados: aproveite trabalhos de arquivamento automatizados e baseados em APIs para o banco de dados do Airflow.
• Exportador de logs universal: metodologia de sidecar de vetores para encaminhar logs para vários sistemas externos compatíveis.

O agendador original do cliente não era compatível com segurança na nuvem, o que restringia sua capacidade de utilizar ativos de dados baseados na nuvem. Isso levava a ineficiências operacionais e aumentava os riscos de segurança à medida que as equipes começaram a contornar essas limitações.

Como resultado, o Airflow emergiu como o orquestrador preferido para mais equipes devido à sua compatibilidade com ambientes de nuvem. No entanto, à medida que o número de projetos e equipes do Airflow cresceu, surgiram desafios significativos. Não havia um método centralizado para provisionar o Airflow com segurança em toda a empresa.

O Astronomer com a IBM forneceu a eles uma segurança robusta de nível empresarial, com funcionalidades como:

• Segurança multilocatário: o controle de acesso baseado em função (RBAC) isolou espaços nos espaços de trabalho, implementações e níveis de sistema para DAGs.
• SSO [OIDC/ SCIM]: compatibilidade com OIDC e SCIM para autenticação baseada em eventos e remoção automática de usuários e equipes.
• Identidade em nuvem: integração de implementações com mecanismos de identidade nativos da nuvem (AWS IAM e GKE Workload Identity).

O agendador original usado pelo cliente não tinha a visibilidade e a variedade de integrações que as equipes de dados modernas exigem para gerenciar e monitorar trabalhos e falhas de forma eficaz. Juntamente com sua íngreme curva de aprendizado, o agendador não fornecia a resiliência necessária para aumentar a produtividade dos desenvolvedores.

O Airflow se mostrou uma alternativa viável ao agendador anterior; no entanto, continuaram surgindo problemas porque o Airflow não tem o suporte necessário para resolver problemas rapidamente e minimizar o downtime. O cliente optou pelo Astronomer em colaboração com a IBM devido às funcionalidades exclusivas do Astronomer, como:

• Visibilidade e integridade entre implementações: obtenha visibilidade completa de seus DAGs e metadados em todas as suas implementações do Airflow.
• Alertas centrados em dados: configure alertas para execução de DAG e estados de tarefas, e receba notificações em tempo real via SMTP ou SMS.
• Ciclo de vida do registro: armazenamento de registro baseado no ElasticSearch com tarefas de limpeza da retenção e exportação externa.
• Retenção de métricas: retenção de métricas do Prometheus para todas as implementações do Airflow.
• Compatibilidade com o Airflow: o Astronomer impulsiona 100% dos lançamentos do Airflow e escreve cerca de 60% do código do Airflow. A compatibilidade com o Airflow é incomparável.

No final, a decisão da equipe de mudar para o Astronomer de seu agendador legado ajudou a obter mais visibilidade de suas cargas de trabalho e reduziu o tempo de execução em 20%. Além disso, os clientes melhoram a resiliência de implementação com o Data Observability by Databand da IBM, para observabilidade de dados de ponta a ponta para o Airflow e outros pipelines.

O Databand ajuda as equipes a:

• Obtenha alertas e visualizações praticáveis para entender a integridade e adotar as medidas necessárias.
• Libere monitoramento, rastreamento e alertas avançados em produtos de dados e suas dependências.
• Receba recomendações proativas utilizando as melhores práticas do Airflow para sinalizar oportunidades de otimização e economia de custos.
• Defina e monitore SLAs em produtos de dados, detecte gargalos e anomalias e adote medidas informadas antes que os problemas afetem a entrega.

A versatilidade do Airflow, combinada com a prontidão empresarial do Astronomer e a tecnologia robusta de gerenciamento de dados da IBM, torna o Astronomer com a IBM a escolha ideal para executar o Airflow em escala.

Nossa colaboração com o Astronomer simplifica a adoção e o gerenciamento do Airflow, proporcionando uma experiência sem dificuldades e com suporte para clientes que desejam criar, implementar e escalar pipelines de dados em várias equipes.

Baixe o o relatório State of Airflow 2025 para saber mais sobre como as empresas usam o Airflow e entre em contato com seu representante da IBM.