La compañía multinacional de IA de alta tecnología sustituye los discos por cinta de alto rendimiento, para almacenar volúmenes masivos de datos fríos, reducir los costes en un 80 % y permitir un rápido crecimiento en IA, vehículos autónomos, etc.
A medida que Baidu lanza servicios innovadores de IA, los volúmenes de datos se disparan. Para reducir los costes, aumentar la eficiencia y cumplir los requisitos de conformidad de datos, la empresa recurrió a IBM para sustituir el almacenamiento de disco heredado de datos fríos por una nueva solución basada en bibliotecas de cintas IBM® TS4500 y el software IBM Storage Scale.
Desde los vehículos autónomos a la IA, pasando por el Internet de las cosas (IoT), Baidu está a la vanguardia de la innovación digital. Además de ofrecer el mayor motor de búsqueda de Internet de China, la estrategia de la compañía incluye la conducción autónoma, Baidu AI Cloud, Baidu Netdisk y plataformas de video streaming.
Miao Yu, directora ejecutivo del departamento de almacenamiento en el cloud de Baidu AI Cloud, explica: "A medida que cada vez más industrias mejoran su capacidad digital, nuestro objetivo es proporcionar productos en el cloud a los clientes en industrias como el transporte, las finanzas y el gobierno". Con las funciones de inteligencia y cloud de Baidu AI Cloud, podemos ayudar a las empresas a aumentar la rentabilidad y crear nuevas fuentes de valor".
En toda la plataforma de Baidu, los datos crecen rápidamente en volumen, velocidad y variedad. La creciente popularidad de las ofertas de Baidu AI Cloud e IA de la compañía ha provocado un aumento masivo de los requisitos de almacenamiento. Al mismo tiempo, la adopción de las soluciones de ciudad inteligente, hogar inteligente y automatización de vehículos de Baidu está creciendo drásticamente, lo que aumenta aún más la necesidad de acceder a los datos en tiempo real y conservarlos a largo plazo.
"El crecimiento de los datos no muestra señales de desaceleración", continúa Miao Yu. "Los últimos vehículos autónomos están equipados con muchos más sensores que sus predecesores, y la cantidad de datos generados por vehículo puede ser de hasta 10 TB al día. Del mismo modo, el rápido crecimiento de la categoría de hogar inteligente y la popularidad generalizada de las retransmisiones en directo en China aportan enormes cantidades de datos, lo que implica retos de almacenamiento. Desde 2019, nuestros volúmenes de datos se han más que triplicado, y ahora almacenamos aproximadamente 100 exabytes [EB] de datos".
En el pasado, Baidu se basaba en el almacenamiento de disco para la conservación de datos a largo plazo. Sin embargo, sus discos tenían una capacidad máxima de 20 TB por unidad, lo que limitaba la densidad de almacenamiento, consumía un valioso espacio de suelo y aumentaba los costes. Después de reconocer que este enfoque no era óptimo, Baidu buscó una plataforma de almacenamiento de datos en frío más resistente, eficiente y escalable que pudiera dar cabida al crecimiento continuo de los datos.
> 90 %
al sustituir los discos por cintas para almacenamiento de datos fríos
> 80 %
comparado con la plataforma de almacenamiento de disco anterior
La combinación de bibliotecas de cintas IBM TS4500 con IBM Storage Scale e IBM Storage Defender permite a Baidu AI Cloud reducir costes y escalarse rápidamente para dar cabida al crecimiento explosivo de datos.
Miao Yu
Directora ejecutiva del departamento de almacenamiento en el cloud, Baidu AI Cloud
Para satisfacer las necesidades de sus clientes de un escalado de datos ilimitado, Baidu AI Cloud recurrió a expertos de IBM para planificar, diseñar, desplegar y configurar una arquitectura de almacenamiento de datos fríos preparada para el futuro que está formada por las bibliotecas de cintas IBM TS4500 y las soluciones IBM Storage Scale e IBM Storage Defender.
"Los distintos tipos de escenarios de uso de datos tienen diferentes demandas para el sistema de almacenamiento", explica Miao Yu. "Por ejemplo, las cargas de trabajo de informática de alto rendimiento requieren un alto rendimiento y acceso de lectura y escritura de baja latencia. Para otros escenarios de uso, como el almacenamiento de archivos de registro generados por los sistemas de supervisión, debemos poder recuperar datos rápidamente, aunque hayan pasado años desde que se almacenaron. Buscábamos una solución de almacenamiento en frío con una mayor rentabilidad, un IOPS elevado y una disponibilidad 24x7, todo de IBM".
La solución de IBM se integra con la arquitectura de almacenamiento distribuido existente de Baidu AI Cloud. Las bibliotecas de cintas IBM TS4500 para el almacenamiento de datos fríos se utilizan con las unidades de estado sólido heredadas para datos calientes y las unidades de disco duro de almacenamiento en caliente. Los datos se mueven sin problemas a través del sistema de almacenamiento por niveles, lo que permite un acceso de alto rendimiento. Es más, las cintas se pueden conservar durante más de 30 años a un coste mucho más bajo que los discos.
La solución de almacenamiento de datos fríos de IBM ofrece un 99,9999999999 % de fiabilidad y ha reducido nuestros costes operativos en un 80 %, mejoras que han superado con creces nuestras expectativas.
Miao Yu
Directora ejecutiva del departamento de almacenamiento en el cloud, Baidu AI Cloud
"Nos impresionó la solución de IBM", afirma Miao Yu. "Con IBM Storage Scale, podemos dejar que los datos fluyan libremente en nuestro entorno, a la vez que simplificamos nuestra arquitectura de almacenamiento para facilitar la gestión y el mantenimiento".
Para garantizar que la nueva plataforma cumpla los requisitos a largo plazo de Baidu AI Cloud de escalabilidad, los expertos de IBM crearon flujos de trabajo de despliegue automatizados. Estos permiten que se suministren 20 nodos de almacenamiento en frío en un único lote, lo que acelera significativamente el despliegue y la expansión.
IBM también ayudó a Baidu a adaptar e integrar mejor los datos de la solución de almacenamiento de cintas de IBM con su propia plataforma, lo que les permitió identificar y resolver problemas rápidamente, y poner la solución en línea. Hasta la fecha, Baidu ha desplegado 14 bibliotecas de cintas IBM TS4500 en su centro de datos de Yangquan, almacenando más de 2 EB de datos fríos.
Miao Yu explica: "IBM cumplió con creces nuestros principales criterios de selección, y después de una prueba de concepto de éxito, teníamos la certeza de que las bibliotecas de cintas IBM TS4500 con las soluciones de almacenamiento de IBM serían la forma perfecta de resolver las presiones de coste y espacio de almacenamiento de disco a las que nos enfrentábamos. Tenemos un largo y fructífero historial de colaboración con IBM en otros proyectos, de forma que sabíamos que IBM tiene la innovación técnica y los servicios necesarios para abordar los retos del despliegue de una solución de almacenamiento a gran escala".
Al sustituir los discos por cintas, Baidu ha cumplido con creces los criterios de éxito que estableció al comienzo de su renovación de almacenamiento en frío.
"Originalmente buscábamos un 99,999999999 % de fiabilidad y una reducción del coste operativo del 50 % como mínimo respecto a la solución de almacenamiento de disco anterior, pero la solución de almacenamiento de IBM superó ambos objetivos", comenta Miao Yu. "La solución de almacenamiento de datos fríos de IBM ofrece un 99,9999999999 % de fiabilidad y ha reducido nuestros costes operativos en un 80 %, mejoras que han superado con creces nuestras expectativas".
Con un almacenamiento de cintas fiable y rentable y una plataforma de datos de alto rendimiento que da soporte a sus cargas de trabajo de IA y Big Data, Baidu AI Cloud puede dar cabida al rápido crecimiento de los datos y ampliar sus ofertas y servicios innovadores.
"Debemos almacenar cantidades masivas de datos en Baidu AI Cloud, así como en nuestras búsquedas, la conducción autónoma y otros servicios, durante tres años o más, y permitir que estén disponibles para la analítica y el cumplimiento cuando sea necesario", explica Miao Yu.
"Hoy día, estos y otros datos clave pueden almacenarse de forma segura y rentable en nuestra plataforma de almacenamiento en frío y recuperarse rápidamente bajo demanda. La cinta es una solución eficaz porque consume muy poca electricidad, más del 90 % menos que un almacenamiento de disco equivalente. Por lo tanto, podemos reducir significativamente nuestra huella medioambiental, así como ahorrar costes".
Miao Yu concluye: "La combinación de bibliotecas de cintas IBM TS4500 con el software IBM Storage Scale e IBM Storage Defender permite a Baidu AI Cloud reducir costes y escalarse rápidamente para dar cabida al crecimiento explosivo de datos. A continuación, tenemos previsto crear una plataforma de gestión de almacenamiento de cinta unificada para Baidu en conjunto, y esperamos trabajar con IBM para explotar todo el potencial del almacenamiento de cinta en la organización".
Junhua Jiang, director ejecutivo de cuentas de Hyperscale Solutions Sales en IBM, afirma: "Esperamos trabajar con Baidu para enriquecer su arquitectura de almacenamiento en el cloud y crear un servicio de datos global líder para los clientes de Baidu Group y del sector".
Acerca de Baidu, Inc. y Baidu AI Cloud
Fundada en 2000 y con sede en Pekín, China, Baidu, Inc. (enlace externo a ibm.com) es una empresa líder en IA. Baidu AI Cloud es la infraestructura de Baidu para la era inteligente. Con una pila completa de capacidades de tecnología de IA, Baidu AI Cloud ayuda a miles de clientes de distintos sectores con su avanzada tecnología y sus soluciones integrales.
Componentes de la solución
IBM® Storage Scale
IBM Storage Defender
IBM TS4500 Tape Library
© Copyright IBM Corporation 2023. IBM Corporation, New Orchard Road, Armonk, NY 10504
Producido en los Estados Unidos de América, marzo de 2023.
IBM y el logotipo de IBM son marcas comerciales o marcas registradas de International Business Machines Corporation, en Estados Unidos o en otros países. Otros nombres de productos y servicios pueden ser marcas registradas de IBM o de otras empresas. Encontrará una lista actual de marcas registradas de IBM en ibm.com/trademark.
Este documento está vigente en la fecha inicial de publicación y puede ser modificado por IBM en cualquier momento. No todas las ofertas están disponibles en todos los países en los que IBM opera.
Todos los ejemplos de cliente citados o descritos se presentan como ilustraciones de la forma en que algunos clientes han utilizado productos de IBM y los resultados que pueden haber conseguido. Los costes y las características de rendimiento reales variarán en función de las condiciones y configuraciones individuales de cada cliente. No se pueden proporcionar resultados generalmente esperados, ya que los resultados de cada cliente dependerán completamente de los sistemas y servicios del cliente solicitados. LA INFORMACIÓN PRESENTADA EN ESTE DOCUMENTO SE PROPORCIONA "TAL CUAL" SIN GARANTÍAS DE NINGÚN TIPO, NI EXPLÍCITAS NI IMPLÍCITAS, INCLUIDAS, A TÍTULO ENUNCIATIVO Y NO LIMITATIVO, LAS GARANTÍAS IMPLÍCITAS DE COMERCIALIZACIÓN, ADECUACIÓN PARA UN PROPÓSITO CONCRETO O NO INFRACCIÓN. Los productos de IBM están garantizados de acuerdo con los términos y condiciones de los acuerdos bajo los que se proporcionan.
Las afirmaciones relativas a las intenciones futuras de IBM están sujetas a cambio o retirada sin previo aviso, y sólo representan objetivos.
La capacidad de almacenamiento disponible real que se indica puede ser tanto comprimida como no comprimida; podrá variar y podrá ser inferior a la indicada.