Ao tomar decisões de missão crítica, cada segundo conta, especialmente quando você tem um papel importante nos mercados globais de energia, commodities e financeiros. No entanto, com os volumes de dados de séries temporais aumentando, mobilizar as informações certas para orientar as decisões de negócios ficou cada vez mais complexo.
Para a ZE, uma empresa de gerenciamento de dados especializada em fornecer dados ativos e plataformas de análise de edge, a chegada da era do big data apresentou uma oportunidade de expansão, bem como desafios de crescimento a serem superados.
Aiman El-Ramly, diretor de estratégia, explica: "Na ZE, ajudamos nossos clientes a gerenciar sua exposição ao mercado. Para fazer isso, fornecemos a eles uma vasta gama de dados que extraímos, transformamos e carregamos com visualização clara e rigorosa e ferramentas de integração automatizadas.
"Com essas informações atualizadas, nossos clientes podem tomar melhores decisões e refinar suas estratégias de mercado praticamente em tempo real. Continuar fornecendo informações precisas nessa velocidade na era do big data nos traz novos desafios.
"A quantidade de dados disponíveis para as empresas analisarem e criarem suas estratégias aumentou significativamente e, conforme o cenário de dados mudou, também aumentaram as demandas de nossos clientes por fornecimento e interpretação de informações.
"Para otimizar a agilidade, nossos clientes precisam de ferramentas que ajudem a visualizar e entender facilmente as tendências do mercado. Ao mesmo tempo, eles desejam reduzir seus custos adotando uma abordagem mais automatizada para a infraestrutura de TI.
"Para atender às crescentes necessidades de nossos clientes, decidimos diversificar nossa oferta e migrar para um modelo de plataforma como serviço [PaaS], fornecendo aos nossos clientes fluxos de dados ricos, bem como infraestrutura e software hospedados na nuvem para entregar dados e análises de dados com mais eficiência."
Para a ZE fazer a transição com sucesso para um modelo PaaS, ela teve que enfrentar vários desafios técnicos que, se não fossem verificados, poderiam ter impactado negativamente a versatilidade dos seus serviços.
Nader El-Ramly, diretor de produto, disse: "Durante a primeira iteração da nossa nuvem, ficou claro que não estávamos suficientemente equipados para atender às demandas de um cenário de dados em evolução e mudanças nas demandas dos clientes. As limitações do desempenho da nossa infraestrutura de armazenamento vieram à tona durante esse período. Como resultado, às vezes, nosso serviço estava funcionando mais lentamente do que a necessidade dos nossos clientes, limitando sua agilidade.
"Em nosso setor, níveis baixos de desempenho podem ter um impacto significativo nos serviços. Por exemplo, uma vez que reunimos e coletamos vastas matrizes de dados sensíveis ao tempo, como índices de preço, nosso software, então, constrói curvas de preço futuras, que nossos clientes usam como ferramentas para criar suas decisões estratégicas e investimentos.
"É importante que essas curvas sejam geradas e atualizadas em tempo real para que nossos clientes fiquem à frente das curvas, por assim dizer, e ganhem vantagem competitiva. Qualquer atraso na geração dessas informações pode ter um grande impacto nos nossos clientes. Em termos técnicos, nossos muitos racks de armazenamento em disco não conseguiriam lidar com o volume produzido pelas solicitações dos nossos clientes.
"Tentamos resolver isso adicionando mais armazenamento de disco giratório à nossa arquitetura, mas essa prática não conseguiu acompanhar o aumento dos volumes de dados e simplesmente elevou o custo e a complexidade. Os problemas de desempenho causaram um gargalo, deixando nossos sistemas de processamento de dados sem dados e, por vezes, levando um período significativo para retornar análises de dados.
"Dessa forma, nossa arquitetura de armazenamento limitava a capacidade de aproveitar ao máximo nosso poder de processamento. Além disso, frequentemente apresentava falhas, aumentando os custos de manutenção e diminuindo a disponibilidade dos nossos serviços. Para tornar a nuvem um verdadeiro sucesso e acelerar nossos serviços com o crescimento exponencial dos dados, precisávamos repensar nossa arquitetura de armazenamento."