Desde vehículos autónomos hasta IA e internet de las cosas, Baidu está a la vanguardia de la innovación digital. Además de ofrecer el motor de búsqueda de Internet más grande de China, la estrategia de la empresa incluye plataformas de conducción autónoma, Baidu AI Cloud, Baidu Netdisk y transmisión de video.

Miao Yu, gerente sénior del departamento de almacenamiento en la nube de Baidu AI Cloud, explica: “A medida que más industrias actualizan sus capacidades digitales, nuestro objetivo es proporcionar productos en la nube a clientes de industrias, como transporte, finanzas y gobierno. A través de las capacidades de nube e inteligencia de Baidu AI Cloud, podemos ayudar a las empresas a desbloquear rentabilidad y crear nuevas fuentes de valor”.

En toda la plataforma Baidu, los datos crecen rápidamente en volumen, velocidad y variedad. La creciente popularidad de Baidu AI Cloud y de las ofertas de IA de la empresa ha provocado un aumento masivo de las necesidades de almacenamiento. Al mismo tiempo, la adopción de las soluciones de automatización de vehículos, hogares y ciudades inteligentes de Baidu está incrementando considerablemente, lo que aumenta aún más la necesidad de acceso a datos en tiempo real y retención de datos a largo plazo.

“Nuestro crecimiento de datos no muestra signos de desaceleración”, continúa Miao Yu. “Los últimos vehículos autónomos están equipados con muchos más sensores que sus predecesores, y la cantidad de datos generados por vehículo puede ser tan alta como 10 TB por día. Del mismo modo, el rápido crecimiento de la categoría de hogares inteligentes y la popularidad generalizada de la transmisión en vivo en China aportan grandes cantidades de datos, lo que genera desafíos de almacenamiento. Desde 2019, nuestros volúmenes de datos se han más que triplicado, y ahora almacenamos aproximadamente 100 exabytes [EB] de datos”.

Antes, Baidu dependía del almacenamiento en disco para la retención de datos a largo plazo. Sin embargo, sus discos tenían una capacidad máxima de 20 TB por unidad, lo cual limita la densidad de almacenamiento, consume un valioso espacio de piso y aumenta los costos. Al reconocer que este enfoque no era óptimo, Baidu buscó una plataforma de almacenamiento de datos en frío más resiliente, eficiente y escalable que pudiera acomodar el crecimiento continuo de los datos.

Para satisfacer las necesidades de sus clientes de escalado de datos ilimitado, Baidu AI Cloud contrató a expertos de IBM para planificar, diseñar, desplegar y configurar una arquitectura de almacenamiento de datos en frío preparada para el futuro que consta de IBM TS4500 Tape Libraries y las soluciones IBM Storage Scale e IBM Storage Defender.

“Los diferentes tipos de escenarios de uso de datos ponen diferentes demandas en nuestro sistema de almacenamiento”, explica Miao Yu. “Por ejemplo, las cargas de trabajo informáticas de gran desempeño requieren un alto rendimiento y un acceso de lectura y escritura de baja latencia. Para otros escenarios de uso, como almacenar archivos de registro generados por nuestros sistemas de monitoreo, debemos poder recuperar datos rápidamente, incluso si han pasado años desde que se almacenaron. Buscábamos una solución de almacenamiento en frío con mayor rentabilidad, alta IOPS y disponibilidad 24 horas al día, 7 días a la semana, e IBM cumplió”.

La solución IBM se integra con la arquitectura de almacenamiento distribuido existente de Baidu AI Cloud. IBM TS4500 Tape Libraries para almacenamiento de datos en frío se utilizan con unidades de estado sólido heredadas para datos en caliente y unidades de disco duro para almacenamiento en caliente. Los datos se mueven sin problemas en todo el sistema de almacenamiento por niveles, lo que permite un acceso de alto rendimiento. Además, las cintas se pueden conservar durante más de 30 años a un costo mucho menor que los discos.

“Nos impresionó la solución IBM”, dice Miao Yu. “Con IBM Storage Scale, podemos permitir que los datos fluyan libremente en todo nuestro entorno, al tiempo que simplificamos nuestra arquitectura de almacenamiento para facilitar la gestión y el mantenimiento”.

Para garantizar que la nueva plataforma cumpliera con los requisitos a largo plazo de Baidu AI Cloud, los expertos de IBM crearon flujos de trabajo de despliegue automatizados. Estos permiten aprovisionar 20 nodos de almacenamiento en frío en un solo lote, lo que acelera significativamente tanto el despliegue como la expansión.

IBM también ayudó a Baidu a adaptar e integrar mejor los datos de la solución de almacenamiento en cinta de IBM con su propia plataforma, lo que permitió a Baidu identificar y resolver rápidamente los problemas y poner la solución en línea. Hasta la fecha, Baidu ha desplegado 14 IBM TS4500 Tape Libraries en su centro de datos de Yangquan, con un almacenamiento superior a 2 EB de datos en frío.

Miao Yu explica: “IBM cumplió y superó todos nuestros criterios de selección básicos y, tras una prueba de concepto satisfactoria, estábamos seguros de que las soluciones IBM TS4500 Tape Libraries e IBM Storage serían la forma perfecta de resolver las presiones de costos y espacio a las que nos enfrentábamos en torno al almacenamiento en disco. Tenemos una larga y exitosa historia de colaboración con IBM en otros proyectos, y esto nos dio la confianza de que IBM tiene la innovación técnica y los servicios para abordar los desafíos de implementar una solución de almacenamiento a gran escala”.

Al sustituir los discos por cintas, Baidu ha cumplido y superado los criterios de éxito que estableció al inicio de su renovación del almacenamiento en frío.

“Nuestro objetivo inicial era alcanzar una confiabilidad del 99.999999999 % y una reducción de los costos operativos de al menos el 50 % con respecto a la anterior solución de almacenamiento en disco, pero la solución de almacenamiento de IBM superó ambos objetivos”, comenta Miao Yu. “La solución de almacenamiento de datos en frío de IBM ofrece confiabilidad del 99.9999999999 % y ha reducido nuestros costos operativos en un 80 %, mejoras que han superado con creces nuestras expectativas”.

Con un almacenamiento en cinta rentable y confiable y una plataforma de datos de alto rendimiento que respalda sus cargas de trabajo de IA y big data, Baidu AI Cloud puede adaptarse al rápido crecimiento de los datos y ampliar sus ofertas y servicios innovadores.

“Debemos almacenar las cantidades masivas de datos en Baidu AI Cloud (así como en nuestros servicios de búsqueda, conducción autónoma y otros) durante hasta tres años o más, y ponerlos a disposición para su uso analítico y de cumplimiento siempre que sea necesario”, explica Miao Yu.

“Hoy en día, estos y otros datos clave pueden almacenarse de forma segura y rentable en nuestra plataforma de almacenamiento en frío y recuperarse rápidamente a demanda. La cinta es una solución eficiente porque consume muy poca electricidad: más de 90 % menos que un almacenamiento en disco equivalente. De este modo, podemos reducir significativamente nuestra huella medioambiental y ahorrar costos”.

Miao Yu concluye: “La combinación de IBM TS4500 Tape Libraries con IBM Storage Scale e IBM Storage Defender permite a Baidu AI Cloud reducir costos y escalar rápidamente para adaptarse al crecimiento explosivo de datos. A continuación, planeamos crear una plataforma unificada de gestión de almacenamiento en cinta para todo Baidu, y esperamos trabajar con IBM para desbloquear todo el potencial del almacenamiento en cinta en toda la organización”.

Junhua Jiang, gerente sénior de cuentas de Hyperscale Solutions Sales en IBM, dice: “Esperamos trabajar con Baidu para enriquecer su arquitectura de almacenamiento en la nube y crear un servicio de datos global líder para Baidu Group y clientes de la industria”.

Fundada en 2000 y con sede en Beijing, China, Baidu, Inc. (enlace externo a ibm.com) es una empresa líder en IA. Baidu AI Cloud es la infraestructura de Baidu para la era inteligente. Con una pila completa de capacidades de tecnología de IA, Baidu AI Cloud empodera a miles de clientes en múltiples industrias con su tecnología avanzada y soluciones integrales.