La croissance d’IBM Storage Ceph : le socle idéal pour un data lakehouse moderne

Share this post:

Cela fait un an qu’IBM a intégré les feuilles de route et les équipes des produits de stockage Red Hat dans IBM Storage. Au cours de cette période, les organisations ont été confrontées à des défis sans précédent en matière de données pour mettre l’IA à l’échelle en raison de la croissance rapide des données dans davantage d’emplacements et de formats, mais avec une qualité moindre. Aider les clients à lutter contre ce problème a nécessité de moderniser leur infrastructure avec des solutions de pointe dans le cadre de leurs transformations numériques.

Il s’agit en grande partie de fournir un stockage cohérent des applications et des données dans les environnements sur site et dans le Cloud. Il s’agit également, et surtout, d’aider les clients à adopter des architectures « cloud-native » pour bénéficier des avantages du Cloud public en termes de coûts, de rapidité et d’élasticité. L’ancienne Red Hat Ceph – aujourd’hui IBM Storage Ceph – une plateforme de stockage défini par logiciel open-source à la pointe de la technologie, est la clé de voûte de cet effort.

Le stockage défini par logiciel (SDS : Software-defined storage) s’est imposé comme une force de transformation en matière de gestion des données, offrant une foule d’avantages par rapport aux baies de stockage traditionnelles, notamment une flexibilité et une évolutivité extrêmes qui sont bien adaptées pour gérer les cas d’usage modernes tels que l’IA générative. Avec IBM Storage Ceph, les ressources de stockage sont dissociées du matériel sous-jacent, ce qui permet une allocation dynamique et une utilisation efficace du stockage des données. Cette flexibilité simplifie non seulement la gestion, mais améliore également l’agilité pour s’adapter à l’évolution des besoins de l’entreprise et à la mise à l’échelle du calcul et de la capacité au fur et à mesure de l’introduction de nouvelles applications. Conçue pour s’auto-réparer et s’auto-gérer, cette plateforme propose des services de stockage unifiés en mode bloc, fichier et objet, à l’échelle et sur du matériel au standard du marché.[1] Le stockage unifié permet aux clients de passer d’applications existantes fonctionnant sur des systèmes de stockage de fichiers ou de blocs indépendants à une plateforme commune qui inclut ces applications ainsi que le stockage objets dans une seule appliance.

Ceph est optimisé pour les grands déploiements mono et multisites et peut évoluer efficacement pour prendre en charge des centaines de pétaoctets de données et des dizaines de milliards d’objets[2], ce qui est essentiel pour les applications d’IA générative traditionnelles et plus récentes. L’évolutivité, la résilience et la sécurité d’IBM Storage Ceph en font la solution idéale pour prendre en charge les data lakehouse et les frameworks open-source AI/ML, en plus des applications plus traditionnelles telles que MySQL et MongoDB sur Red Hat OpenShift ou RedHat OpenStack. C’est l’une des raisons pour lesquelles 768 TiB de capacité brute d’IBM Storage Ceph sont inclus dans watsonx.data, l’architecture d’IBM de data lakehouse ouverte, gouvernée et adaptée aux besoins, optimisée pour les applications liées aux données, à l’analytique et à l’IA.

En savoir plus sur IBM STORAGE CEPH.

Le socle idéal pour les applications gourmandes en calcul et en données

La croissance explosive des données non structurées et l’IA générative partagent une relation symbiotique, chacune influençant l’autre et profitant de l’autre. Dans son rapport 2023 « Principales tendances en matière de stockage de données d’entreprise » (Top Trends in Enterprise Data Storage 2023), Gartner® indique que « d’ici 2028, les grandes entreprises tripleront leur capacité de stockage de données non structurées sur site, en périphérie (edge) et dans le Cloud public, par rapport à mi-2023 ». La prolifération des données non structurées, telles que le texte, les images et les vidéos, constitue une source vaste et diversifiée pour l’entraînement des modèles d’IA générative. À son tour, l’IA générative aide à donner un sens à la masse toujours croissante de données non structurées et à en extraire des informations précieuses. Cette synergie se traduit par une amélioration continue de l’information dans laquelle l’IA générative se nourrit de l’abondance de données non structurées, et la génération continue de données réalistes par l’IA enrichit et affine votre compréhension des ensembles de données non structurées, favorisant ainsi l’innovation et les progrès.

« D’ici 2028, 70 % des données de fichiers et d’objets seront déployées sur une plateforme consolidée de stockage de données non structurées, contre 35 % début 2023 », selon le même rapport de Gartner®. Les entreprises ont donc besoin d’une solution de gestion du stockage capable d’accélérer l’acquisition, le nettoyage et la classification des données, la gestion et l’enrichissement des métadonnées, ainsi que la gestion et le déploiement des capacités à l’échelle du Cloud, comme le stockage défini par logiciel. IBM Storage Ceph évolue de manière transparente pour répondre à ces demandes croissantes de données. Ses capacités d’autogestion garantissent que le système s’adapte en permanence à des conditions changeantes, ce qui rend la solution facile à mettre en œuvre tout en préservant l’intégrité des données.

Pour accélérer et amplifier l’impact des données et de l’IA dans une organisation – et finalement améliorer les résultats commerciaux – les entreprises doivent être hybrides par nature. Cela inclut la capacité de consommer des services de stockage sur site avec un modèle d’exploitation « Cloud-native » pour répondre à des problèmes tels que le besoin d’ensembles de fonctionnalités d’entreprise non disponibles sur le Cloud public, les considérations de souveraineté des données et le coût. L’architecture plug-and-play d’IBM Storage Ceph simplifie l’intégration avec les infrastructures existantes, y compris diverses plateformes, environnements Cloud, hyperviseurs, référentiels de données open source tels qu’Apache Iceberg ou Apache Parquet, et des piles de solutions complètes comme watsonx.ai, watsonx.data, et autres. De nouveaux nœuds ou dispositifs peuvent être ajoutés au cluster de manière transparente, sans interruption de service. Il s’agit d’un moyen simple et efficace pour les clients de construire un lac de données avec watsonx.data et d’autres applications d’IA de nouvelle génération.

« Chez Snap, notre besoin de stocker de plus en plus de données ne cesse de croître, et nous avons besoin d’une plateforme capable d’évoluer rapidement, de satisfaire nos KPIs de performance et d’être rentable en même temps. IBM Storage Ceph est la plateforme de choix avec son architecture simple et évolutive, son interface facile à gérer et son déploiement logiciel rentable. L’expertise et le support de classe mondiale d’IBM est un autre élément important de notre décision d’utiliser IBM Storage Ceph pour un composant aussi critique de notre entreprise ». — Snap Inc.

Accès rapide aux données avec NVMe sur TCP

Au cours de l’année écoulée, IBM a apporté plusieurs mises à jour importantes à Ceph, dont la plus récente est IBM Storage Ceph 7.0. Cette plateforme Ceph de nouvelle génération se prépare aux capacités NVMe/TCP conçues pour permettre un transfert de données plus rapide entre les périphériques de stockage, les serveurs et les plateformes Cloud en conservant les caractéristiques de faible latence et de large bande passante du NVMe traditionnel. Elle convient donc aux applications qui exigent un accès ultra-rapide au stockage, telles que les bases de données, l’analyse et la diffusion de contenu, et elle simplifie l’infrastructure grâce à sa compatibilité avec les investissements dans les technologies de réseau traditionnelles. Ces avantages aideront les clients à adopter une approche définie par logiciel conçue pour offrir une expérience de type Cloud en termes de vitesse, d’agilité et d’économie.

NVMe/TCP peut aider Ceph à combler le fossé entre le stockage traditionnel par blocs et les architectures évolutives. Avec NVMe/TCP, Ceph sera conçu pour s’intégrer à des plateformes telles que VMware afin d’aider les entreprises à reproduire des architectures Cloud dans leur propre datacenters, en se détachant des réseaux SAN coûteux et rigides et des baies de stockage monolithiques.

Nouvelles fonctionnalités supplémentaires incluses dans Ceph 7.0 :

• Certification de conformité SEC et FINRA pour WORM avec verrouillage d’objet, permettant la conformité WORM pour le stockage objet.
• Support NFS pour l’accès au système de fichiers CephFS pour les clients Ceph non natifs.
• Pour plus de détails sur les fonctionnalités, consultez la communauté IBM Storage ici.

Économies d’échelle dans le Cloud avec IBM Storage Ceph

Étant donné qu’IBM Storage Ceph stocke les données sous forme d’objets dans des pools de stockage logiques, un seul cluster peut disposer de plusieurs pools, chacun étant adapté à des exigences de performance ou de capacité différentes. Les clients peuvent ainsi bénéficier d’un accès plus facile et plus rapide aux données avec des classifications de contenu et de contexte, d’une capacité de stockage limitée uniquement par la taille de l’infrastructure de l’organisation et d’une réduction des coûts à l’échelle en supprimant les restrictions matérielles par rapport aux architectures de baies de stockage traditionnelles et existantes.

Rentabilisation plus rapide

IBM a également rendu le déploiement de Ceph plus facile que jamais. Avec IBM Storage Ready Nodes for Ceph, la plateforme peut être déployée en tant que solution logicielle et matérielle complète et se décline en différentes configurations de capacité optimisées pour l’exécution des applications IBM Storage Ceph. Nous avons éliminé toutes les incertitudes liées à la configuration, la rendant plus facile à assimiler, à configurer et à administrer.

La croissance d’IBM Storage Ceph n’est qu’un autre exemple de la manière dont le portefeuille de matériel et de logiciels de stockage contribue à accélérer la rentabilisation grâce à une capacité et à des performances évolutives afin d’optimiser les coûts pour les clients.

1,2 https://www.redhat.com/en/resources/data-solutions-overview