O crescimento do IBM Storage Ceph – a base ideal para um data lakehouse moderno

Compartilhe:

Por Gerald Sternagl, Gerente de Gerenciamento de Produto Técnico, IBM Storage Ceph

Já se passou um ano desde que a IBM integrou os roteiros e as equipes de produtos de armazenamento da Red Hat no IBM Storage. Durante este período, as organizações têm enfrentado desafios de dados sem precedentes para escalar a IA, devido ao rápido crescimento de dados em mais locais e formatos, mas com qualidade inferior. Ajudar os clientes a enfrentar esse problema significou modernizar sua infraestrutura com soluções de ponta como parte de suas transformações digitais. Em grande parte, isso envolve a entrega de aplicativos e armazenamento de dados consistentes em ambientes locais e em nuvem. Além disso, de forma crucial, isso inclui ajudar os clientes a adotar arquiteturas nativas de nuvem para obter os benefícios da nuvem pública, como custo, velocidade e elasticidade. Anteriormente conhecido como Red Hat Ceph e agora chamado de IBM Storage Ceph, esta plataforma de armazenamento definida por software livre de última geração, é um elemento fundamental nesse esforço.

O armazenamento definido por software (SDS) surgiu como uma força transformadora quando se trata de gerenciamento de dados, oferecendo uma série de vantagens sobre as tradicionais matrizes de armazenamento legado, incluindo extrema flexibilidade e escalabilidade, que são bem adequadas para lidar com casos de uso modernos, como IA generativa. Com o IBM Storage Ceph, os recursos de armazenamento são abstraídos do hardware subjacente, permitindo alocação dinâmica e utilização eficiente de armazenamento de dados. Essa flexibilidade não apenas simplifica o gerenciamento, mas também melhora a agilidade na adaptação, às necessidades de negócios em evolução e no ajuste de escala de computação e capacidade à medida que novas cargas de trabalho são introduzidas. Essa plataforma com capacidade de recuperação automática foi projetada para fornecer serviços unificados de armazenamento de arquivos, blocos e objetos em escala em hardware padrão de mercado. O armazenamento unificado ajuda a fornecer aos clientes uma ponte de aplicativos anteriores em execução no armazenamento independente de arquivos ou blocos para uma plataforma comum que inclui esses e o armazenamento de objetos em um único dispositivo.

O Ceph é otimizado para grandes implementações de um único e de vários sites, e sua escala pode ser ajustada de forma eficiente para suportar centenas de petabytes de dados e dezenas de bilhões de objetos, o que é essencial para cargas de trabalho de IA tradicionais e generativas mais recentes. A escalabilidade, a resiliência e a segurança do IBM Storage Ceph o tornam ideal para suportar estruturas de software livre de data lakehouse e IA/ML (inteligência artificial/aprendizado de máquina), além de cargas de trabalho mais tradicionais, como MySQL e MongoDB no Red Hat OpenShift ou Red Hat OpenStack. É por isso que a capacidade bruta de 768 TiB do IBM Storage Ceph está incluída no watsonx.data, a arquitetura do data lakehouse de dados aberta, governada e adequada ao propósito da IBM, otimizada para cargas de trabalho de dados, análises e IA.

SAIBA MAIS SOBRE IBM STORAGE CEPH

A base adequada para cargas de trabalho intensivas em dados e processamento de informações

O crescimento explosivo de dados não estruturados e IA generativa compartilham uma relação simbiótica, influenciando e beneficiando um ao outro. Em seu relatório Top Trends in Enterprise Data Storage 2023, a Gartner declara que “até 2028, as grandes empresas triplicarão sua capacidade de dados não estruturados em seus locais, de borda e de nuvem pública, em comparação com meados de 2023”. A proliferação de dados não estruturados, como texto, imagens e vídeos, fornece uma fonte vasta e diversificada para treinar modelos de IA generativa. Por sua vez, a IA generativa auxilia na compreensão e extração de insights valiosos do sempre crescente conjunto de dados não estruturados. Essa sinergia resulta em um loop de feedback no qual a IA generativa prospera na abundância de dados não estruturados, e a geração contínua de dados realistas pela IA enriquece e refina ainda mais seu entendimento de conjuntos de dados não estruturados, promovendo inovação e avanços.

Com 70% dos dados de arquivo e objeto previstos para implementação em uma plataforma de armazenamento de dados não estruturados consolidada até 2028 (aumentando de 35% em 2023), de acordo com o mesmo relatório da Gartner, as organizações precisam de uma solução de gerenciamento de armazenamento capaz de ingestão de dados acelerada, limpeza e classificação de dados, gerenciamento e aumento de metadados, e gerenciamento e implementação de capacidade em escala de nuvem, como armazenamento definido por software. O IBM Storage Ceph escala horizontalmente de forma perfeita para atender a essas crescentes demandas de dados. Seus recursos de autogerenciamento garantem que o sistema se adapte continuamente a condições em constante mudança, tornando a solução livre de problemas enquanto mantém facilmente a integridade dos dados.

Para acelerar e escalar o impacto de dados e IA em uma organização e, em última análise, melhorar os resultados de negócios, as empresas devem ser híbridas por design. Isso inclui a capacidade de consumir serviços de armazenamento no local com um modelo operacional nativo de nuvem para lidar com questões como a necessidade de conjuntos de recursos corporativos indisponíveis na nuvem pública, considerações de soberania de dados e custo. A arquitetura plug-and-play do IBM Storage Ceph simplifica a integração com infraestruturas existentes, incluindo várias plataformas, ambientes de nuvem, hypervisores, repositórios de dados de software livre como Apache Iceberg ou Apache Parquet e pilhas de soluções completas como watsonx.ai, watsonx.data e outros. Novos nós ou dispositivos podem ser incluídos no cluster perfeitamente, sem interrupções ou tempo de inatividade do serviço. Ele oferece uma maneira fácil e eficiente para os clientes construírem um data lakehouse com o watsonx.data e outras cargas de trabalho de IA de última geração.

“No Snap, nossa necessidade de armazenar cada vez mais dados continua a se expandir, e precisamos de uma plataforma que possa escalar rapidamente, satisfazer nossos KPIs de desempenho e ter uma boa relação custo-benefício ao mesmo tempo. O IBM Storage Ceph é a plataforma de escolha com sua arquitetura escalável simples, interface fácil de gerenciar e implementação definida por software com custo reduzido. Ter conhecimento e suporte de classe mundial da IBM é outra parte importante de nossa decisão de usar o IBM Storage Ceph para um componente tão crítico de nossos negócios”. –

Snap Inc.

Acesso rápido a dados com NVMe sobre TCP

No último ano, a IBM introduziu várias atualizações importantes para o Ceph, incluindo, mais recentemente, o IBM Storage Ceph 7.0. Essa plataforma Ceph de próxima geração se prepara para recursos NVMe/TCP projetados para permitir uma transferência de dados mais rápida entre dispositivos de armazenamento, servidores e plataformas em nuvem, mantendo as características de baixa latência e alta largura de banda do NVMe tradicional. Isso o torna adequado para aplicativos que exigem acesso a armazenamento ultrarrápido, como bancos de dados, análises e entrega de conteúdo, e simplifica a infraestrutura devido à sua compatibilidade com investimentos em tecnologia de rede tradicional. Esses benefícios ajudarão os clientes a adotarem uma abordagem definida por software projetada para oferecer uma experiência semelhante à nuvem em termos de velocidade, agilidade e economia.

O NVMe/TCP pode ajudar o Ceph a preencher a lacuna para o armazenamento de bloco tradicional com arquiteturas de escalabilidade horizontal. Com o NVMe/TCP, o Ceph será projetado para integrar-se a plataformas como o VMware para ajudar as empresas a replicar arquiteturas de nuvem em seu próprio data center, afastando-se de redes SAN caras e rígidas e matrizes de armazenamento monolítico.

Novos recursos adicionais incluídos no Ceph 7.0: 

• Certificação de conformidade SEC e FINRA para WORM com bloqueio de objeto, possibilitando a conformidade WORM para armazenamento de objetos

• Suporte do NFS para acesso ao sistema de arquivos CephFS para clientes não nativos do Ceph

• Para obter mais detalhes sobre recursos, visite a comunidade do IBM Storage aqui

Economias de escala em nuvem com o IBM Storage Ceph

Como o IBM Storage Ceph armazena dados como objetos dentro de conjuntos de armazenamentos lógicos, um único cluster pode ter vários conjuntos, cada um ajustado para diferentes requisitos de desempenho ou capacidade. Isso permite que os clientes se beneficiem do acesso mais fácil e mais rápido a dados com classificações de conteúdo e contexto, capacidade de armazenamento limitada apenas pelo tamanho da infraestrutura de uma organização e reduções de custos em escala, removendo restrições de hardware em comparação com arquiteturas de matriz de armazenamento tradicionais e legadas.

Tempo de maturação mais curto

A IBM também tornou a implementação do Ceph mais fácil do que nunca. Com o IBM Storage Ready Nodes for Ceph, a plataforma pode ser implementada como uma solução completa de software e hardware e é oferecida em uma variedade de diferentes configurações de capacidade otimizadas para executar cargas de trabalho do IBM Storage Ceph. Facilitamos a configuração ao remover qualquer ambiguidade, tornando-a mais fácil de digerir, configurar e administrar.

O crescimento do IBM Storage Ceph é apenas outro exemplo de como o portfólio de hardware e software de armazenamento da IBM ajuda a fornecer uma maturação mais curta com capacidade e desempenho escalados para otimizar custos para clientes.