Spécialisée dans l'IA high-tech, la multinationale remplace les disques par des bandes haute performance pour stocker des volumes massifs de données froides. Résultat : une réduction des coûts de plus de 80 % et de nouvelles opportunités de croissance dans des domaines tels que l'IA, les véhicules autonomes, et plus encore
Le lancement de services d'IA innovants par Baidu s'accompagne d'une augmentation vertigineuse des volumes de données. Déterminée à réduire les coûts, optimiser l'efficacité et répondre aux exigences de conformité des données, l'entreprise a fait appel à IBM. Son objectif : remplacer le stockage sur disque des données froides par une nouvelle solution basée sur les bandothèques IBM® TS4500 et le logiciel IBM Storage Scale.
Véhicules autonomes, IA et Internet des objets (IoT) : Baidu est à la pointe de l'innovation numérique. Non content d'être le créateur du plus grand moteur de recherche Internet de Chine, Baidu inclut aussi dans sa stratégie la conduite autonome, Baidu AI Cloud, Baidu Netdisk et des plateformes de streaming vidéo.
« La modernisation des capacités numériques est à l'ordre du jour dans de nombreuses industries. Notre objectif est de fournir des solutions cloud aux clients de secteurs tels que les transports, la finance ou le gouvernement. Baidu AI Cloud dispose de toutes les solutions cloud et IA dont les entreprises ont besoin pour réaliser des économies de coûts et créer de nouveaux gisements de valeur », explique Miao Yu, responsable du service de stockage cloud de Baidu AI Cloud.
Dans l'ensemble de la plateforme Baidu, les données connaissent une croissance rapide en termes de volume, de vélocité et de variété. La popularité grandissante tant de Baidu AI Cloud que des offres d'IA a entraîné une augmentation massive des besoins en stockage. En parallèle, les solutions de Baidu pour la ville intelligente, la maison intelligente et la conduite autonome rencontrent un vif succès. Il en découle une augmentation des demandes d'accès en temps réel et des besoins en conservation des données sur le long terme.
« La croissance de nos données ne montre aucun signe de ralentissement », poursuit Miao Yu. « Les tous derniers véhicules autonomes sont équipés d'un nombre de capteurs bien plus élevé que leurs prédécesseurs. Chaque véhicule peut générer jusqu'à 10 To de données par jour. De même, la croissance rapide du marché des maisons intelligentes et la grande popularité de la retransmission en direct en Chine impliquent des quantités de données gigantesques, avec de vrais défis en matière de stockage. Depuis 2019, nos volumes de données ont plus que triplé, et nous stockons maintenant environ 100 exaoctets [Eo] de données. »
Les données à long terme de Baidu étaient auparavant stockées sur disque. Cependant, ces disques ayant chacun une capacité maximale de 20 To, cela restreignait la densité de stockage, mobilisait un espace précieux et faisait augmenter les coûts. Reconnaissant que cette approche n'était pas idéale, Baidu a alors recherché pour ses données froides une plateforme de stockage plus résiliente, plus efficace et plus évolutive, capable de s'adapter à la croissance continue de ses données.
> 90 %
grâce au remplacement des disques par des bandes pour le stockage des données froides
> 80 %
par rapport à la plateforme de stockage sur disque précédente
En combinant les bandothèques IBM TS4500 avec IBM Storage Scale et IBM Storage Defender, Baidu AI Cloud a réussi à réduire les coûts et à réaliser une mise à l'échelle rapide pour absorber la croissance explosive des données.
Miao Yu
Senior Manager of the Cloud Storage Department, Baidu AI Cloud
Pour garantir à ses clients une évolutivité illimitée des données, Baidu AI Cloud a fait appel à des experts IBM. Chargés de planifier, concevoir, déployer et configurer une architecture de stockage des données froides capable de s'adapter aux exigences de demain, ces experts ont créé une solution associant des bandothèques IBM TS4500 aux solutions IBM Storage Scale et IBM Storage Defender.
« Notre système de stockage n'est pas soumis aux mêmes exigences selon les scénarios d'utilisation des données », explique Miao Yu. « Par exemple, les charges de travail de calcul haute performance nécessitent un débit élevé et un accès en lecture et écriture à faible latence. Dans d'autres scénarios, tels que le stockage des fichiers journaux générés par nos systèmes de surveillance, nous devons pouvoir récupérer rapidement les données même si des années se sont écoulées depuis leur stockage. Nous voulions une solution de stockage des données froides plus économique, prenant en charge un nombre élevé d'IOPS et disponible 24h/24, 7j/7 : cette solution, IBM l'a créée pour nous. »
La solution d'IBM s'intègre à l'architecture de stockage distribué déjà en place chez Baidu AI Cloud. Les bandothèques IBM TS4500, réservées au stockage des données froides, sont combinées avec un stockage sur disque SSD, qui existait déjà, pour les données les plus sollicitées, ainsi qu'avec un stockage sur disque dur pour les données moyennement sollicitées. Le déplacement des données au sein de ce système de stockage hiérarchisé se déroule en toute transparence, avec un accès très performant. De plus, les bandes peuvent être conservées pendant plus de 30 ans à un coût très inférieur à celui des disques.
La solution IBM de stockage des données froides offre une fiabilité de douze « 9 » (99,9999999999 %) et nous a permis de réduire nos coûts d'exploitation de 80 %, bien au-delà de toutes nos espérances.
Miao Yu
Senior Manager of the Cloud Storage Department, Baidu AI Cloud
« Nous avons été impressionnés par la solution IBM », déclare Miao Yu. « IBM Storage Scale nous permet de laisser les données circuler librement dans notre environnement, et en même temps, il simplifie notre architecture de stockage en facilitant sa gestion et sa maintenance. »
Pour que la nouvelle plateforme puisse répondre sur le long terme aux besoins en évolutivité de Baidu AI Cloud, les experts IBM ont créé des flux de travaux de déploiement automatisés. Ces flux permettent de mettre à disposition 20 nœuds de stockage à froid en un seul lot, accélérant considérablement le déploiement et l'expansion.
IBM a également aidé son client à mieux adapter et intégrer à sa propre plateforme les données de la solution de stockage sur bande IBM. Baidu a ainsi pu identifier et résoudre rapidement les problèmes, et lancer la solution en production. À ce jour, Baidu a déployé 14 bandothèques IBM TS4500 dans son centre de données de Yangquan, soit un stockage de plus de 2 Eo de données froides.
« IBM a été bien au-delà de tous nos principaux critères de sélection. Après une démonstration de faisabilité concluante, nous avons eu la certitude que les bandothèques IBM TS4500, associées aux solutions IBM Storage, étaient la réponse idéale aux problèmes de coût et d'espace que nous posait notre stockage sur disque. Par ailleurs, nous avons une collaboration fructueuse et de longue date avec IBM sur d'autres projets : un argument de plus, car nous savons que chez IBM, nous trouverons l'innovation technique et les services nécessaires pour relever les défis qu'implique le déploiement d'une solution de stockage à grande échelle », précise Miao Yu.
En remplaçant ses disques par des bandes, Baidu a fait mieux que les critères de modernisation du stockage des données froides qu'il s'était fixé au départ.
« À l'origine, nous visions une fiabilité de onze « 9 » (99,999999999 %) et une réduction des coûts d'exploitation d'au moins 50 % par rapport à notre ancienne solution de stockage sur disque, mais IBM nous a permis de faire encore mieux », remarque Miao Yu. « La solution IBM de stockage des données froides a en effet une fiabilité de douze « 9 » (99,9999999999 %) et a réduit nos coûts d'exploitation de 80 %. Elle va donc très largement au-delà de nos attentes. »
Grâce à un stockage sur bande économique et fiable et à une plateforme de données ultra-performante, capable de gérer ses charges de travail d'IA et de big data, Baidu AI Cloud peut faire face à la croissance rapide des données et développer ses offres et services innovants.
« Nous devons stocker des volumes énormes de données sur Baidu AI Cloud, ainsi que les données de nos travaux de recherche, de nos projets sur la conduite autonome et d'autres services pendant une période qui peut aller jusqu'à trois ans ou plus. Et ces données doivent être disponibles à des fins d'analyse et de conformité chaque fois que cela est nécessaire », explique Miao Yu.
« Aujourd'hui, ces données et d'autres informations clés peuvent être stockées de manière sécurisée et rentable sur notre plateforme de stockage à froid, et être récupérées rapidement à la demande. Le stockage sur bande est une solution efficace car il est très sobre : il consomme 90 % d'énergie de moins qu'un stockage sur disque équivalent. Nous pouvons donc réduire très fortement notre empreinte environnementale tout en réalisant des économies. »
Miao Yu conclut en ces termes : « En associant les bandothèques IBM TS4500 aux logiciels IBM Storage Scale et IBM Storage Defender, Baidu AI Cloud peut réduire ses coûts et monter rapidement en puissance pour faire face à la croissance explosive des données. Par la suite, nous envisageons de créer une plateforme unifiée de gestion du stockage sur bande pour l'ensemble de Baidu. Nous avons hâte de collaborer avec IBM pour exploiter tout le potentiel du stockage sur bande dans l'ensemble de l'organisation. »
« Nous sommes impatients de travailler avec Baidu afin de l'aider à enrichir son architecture de stockage cloud et à créer un service de données global de premier plan pour le groupe Baidu et ses clients », déclare Junhua Jiang, responsable de compte – Hyperscale Solutions Sales chez IBM.
À propos de Baidu, Inc. et Baidu AI Cloud
Fondée en 2000 et basée à Pékin, Chine, Baidu, Inc. (lien externe au site ibm.com) est une entreprise leader dans le secteur de l'IA. Baidu AI Cloud est l'infrastructure de Baidu pour l'ère intelligente. Offrant un riche ensemble de fonctionnalités d'IA, Baidu AI Cloud permet à des milliers de clients dans de nombreux secteurs d'activité de bénéficier de sa technologie avancée et de ses solutions complètes.
Composants de la solution
IBM® Storage Scale
IBM Storage Defender
Bandothèque IBM TS4500
© Copyright IBM Corporation 2023. IBM Corporation, New Orchard Road, Armonk, NY 10504
Produit aux États-Unis, mars 2023.
IBM et le logo IBM sont des marques commerciales ou des marques déposées d'International Business Machines Corporation, aux États-Unis et/ou dans d'autres pays. Les autres noms de produits et de services peuvent être des marques d'IBM ou d'autres sociétés. La liste actualisée de toutes les marques d'IBM est disponible sur ibm.com/trademark.
Le présent document contient des informations qui étaient en vigueur et valides à la date de la première publication, et qu'IBM peut mettre à jour à tout moment. Toutes les offres mentionnées ne sont pas distribuées dans tous les pays où IBM exerce son activité.
Tous les exemples de clients mentionnés ou décrits visent à montrer comment ces clients ont utilisé les produits IBM et les résultats pouvant être obtenus. Les chiffres réels concernant les coûts environnementaux et les performances peuvent varier selon la configuration et d'autres paramètres propres à chaque client. En règle générale, les résultats attendus ne peuvent pas être fournis car les résultats de chaque client dépendront entièrement des systèmes et services commandés par le client. LES INFORMATIONS CONTENUES DANS LE PRÉSENT DOCUMENT SONT FOURNIES "EN L'ÉTAT", SANS AUCUNE GARANTIE EXPLICITE OU IMPLICITE. IBM DÉCLINE NOTAMMENT TOUTE RESPONSABILITÉ RELATIVE À CES INFORMATIONS EN CAS DE CONTREFAÇON AINSI QU'EN CAS DE DÉFAUT D'APTITUDE À L'EXÉCUTION D'UN TRAVAIL DONNÉ. Les produits IBM sont garantis conformément aux dispositions des contrats au titre desquels ils sont fournis.
Toute instruction relative aux intentions d'IBM pour ses opérations à venir est susceptible d'être modifiée ou annulée sans préavis, et doit être considérée uniquement comme un objectif.
La capacité de stockage disponible réelle peut être indiquée à la fois pour des données compressées ou non compressées et peut varier, et peut être inférieure à celle indiquée.