La compañía multinacional de IA de alta tecnología reemplaza discos por cintas de alto rendimiento, lo que le permite almacenar grandes volúmenes de datos inactivos, reducir costos en un 80 % y permitir un rápido crecimiento en IA, vehículos autónomos y más.
A medida que Baidu lanza servicios innovadores de IA, los volúmenes de datos aumentan rápidamente. Con el objetivo de reducir los costos, aumentar la eficiencia y cumplir los requisitos de conformidad de datos, la empresa contrató a IBM para sustituir el almacenamiento en disco heredado por datos inactivos con una nueva solución basada en IBM® TS4500 Tape Libraries y el software IBM Storage Scale.
Desde vehículos autónomos hasta la IA y el Internet de las cosas (IoT), Baidu está en la vanguardia de la innovación digital. Además de ofrecer el mayor motor de búsqueda de Internet de China, la estrategia de la compañía incluye vehículos autónomos, Baidu AI Cloud, Baidu Netdisk y plataformas de streaming de videos.
Miao Yu, gerente sénior del departamento de almacenamiento en la nube de Baidu AI Cloud, explica: "A medida que más industrias mejoran sus funcionalidades digitales, nuestro objetivo es proporcionar productos en la nube a los clientes de industrias como el transporte, las finanzas y el sector público". Con los recursos de nube e inteligencia de Baidu AI Cloud, podemos ayudar a las empresas a obtener rentabilidad y crear nuevas fuentes de valor".
En toda la plataforma de Baidu, los datos crecen rápidamente en volumen, velocidad y variedad. La creciente popularidad de Baidu AI Cloud y las soluciones de IA de la empresa ha provocado un aumento masivo de los requisitos de almacenamiento. Al mismo tiempo, la adopción de las soluciones de ciudad inteligente, hogar inteligente y automatización de vehículos de Baidu está aumentando drásticamente, lo que incrementa aún más la necesidad de acceso a datos en tiempo real y retención de datos a largo plazo.
"Nuestro crecimiento de datos no muestra señales de desaceleración", indica Miao Yu. "Los vehículos autónomos más recientes están equipados con muchos más sensores que sus predecesores, y la cantidad de datos generados por vehículo puede ser de hasta 10 TB por día. Del mismo modo, el rápido crecimiento de la categoría de hogar inteligente y la popularidad generalizada del livestreaming en China aportan enormes cantidades de datos, lo que genera retos de almacenamiento. Desde el 2019, nuestros volúmenes de datos se han más que triplicado, y ahora almacenamos aproximadamente 100 exabytes [EB] de datos".
En el pasado, Baidu dependía del almacenamiento en disco para la retención de datos a largo plazo. Sin embargo, sus discos tenían una capacidad máxima de 20 TB por unidad, lo que limitaba la densidad de almacenamiento, ya que ocupaba una cantidad valiosa de espacio de suelo y aumentaba los costos. Baidu se dio cuenta de que este enfoque no era óptimo, así que buscó una plataforma de almacenamiento de datos inactivos más resistente, eficiente y escalable que pudiera adaptarse al crecimiento continuo de los datos.
> 90 %
al sustituir discos por cintas para almacenamiento de datos inactivos
> 80 %
en comparación con la plataforma de almacenamiento en disco usada antes
La combinación de IBM TS4500 Tape Libraries con IBM Storage Scale e IBM Storage Defender permite a Baidu AI Cloud reducir costos y escalar rápidamente para abordar el rápido crecimiento de datos.
Miao Yu
Gerente sénior del departamento de almacenamiento en la nube, Baidu AI Cloud
Para satisfacer las necesidades de sus clientes de un escalado de datos ilimitado, Baidu AI Cloud contrató a expertos de IBM para planificar, diseñar, desplegar y configurar una arquitectura de almacenamiento de datos inactivos preparada para el futuro que consta de IBM TS4500 Tape Libraries y las soluciones de IBM Storage Scale e IBM Storage Defender.
"Diferentes tipos de escenarios de uso de datos generan diferentes demandas para nuestro sistema de almacenamiento", explica Miao Yu. "Por ejemplo, las cargas de trabajo de computación de alto rendimiento requieren un alto rendimiento y acceso de lectura y escritura de baja latencia. Para otros escenarios de uso, como el almacenamiento de archivos de registro generados por nuestros sistemas de supervisión, debemos ser capaces de extraer datos rápidamente, incluso si han pasado años desde que se almacenaron. Buscamos una solución de almacenamiento de datos inactivos con mayor rentabilidad, alta disponibilidad de IOPS y disponibilidad continúa. E IBM cumplió con nuestros requerimientos".
La solución de IBM se integra con la arquitectura de almacenamiento distribuido existente de Baidu AI Cloud. IBM TS4500 Tape Libraries para el almacenamiento inactivo se utiliza con unidades de estado sólido heredadas para datos activos y unidades de disco duro para almacenamiento activo. Los datos se mueven sin problemas a través del sistema de almacenamiento por niveles, lo que brinda un acceso de alto rendimiento. Es más, las cintas se pueden retener durante más de 30 años a un costo mucho menor que los discos.
La solución de almacenamiento de datos inactivos de IBM ofrece 12 "nueves" de confiabilidad y ha reducido nuestros costos operacionales en un 80 %, mejoras que han superado con creces nuestras expectativas.
Miao Yu
Gerente sénior del departamento de almacenamiento en la nube, Baidu AI Cloud
"Nos impresionó la solución de IBM", afirma Miao Yu. "Con IBM Storage Scale, podemos dejar que los datos fluyan libremente en nuestro entorno, al mismo tiempo que simplificamos nuestra arquitectura de almacenamiento para facilitar la gestión y el mantenimiento".
Para asegurarse de que la nueva plataforma cumple los requisitos de escalabilidad a largo plazo de Baidu AI Cloud, los expertos de IBM crearon flujos de trabajo de despliegue automatizados. Estos permiten que se suministren 20 nodos de almacenamiento inactivo en un único lote, lo que acelera significativamente el despliegue y la escalabilidad.
IBM también ayudó a Baidu a adaptar e integrar mejor los datos de la solución de almacenamiento en cintas de IBM con su propia plataforma, lo que permitió a Baidu identificar y resolver rápidamente problemas y poner la solución en funcionamiento. Hasta la fecha, Baidu ha desplegado 14 IBM TS4500 Tape Libraries en su centro de datos de Yangquan, lo que le ha permitido almacenar más de 2 EB de datos inactivos.
Miao Yu explica: "IBM cumplió y superó todos nuestros criterios de selección principales, y después de una prueba de concepto exitosa, teníamos la certeza de que IBM TS4500 Tape Libraries con las soluciones de IBM Storage serían la forma perfecta de resolver las presiones de costos y de espacio que enfrentamos en relación con el almacenamiento en disco. Tenemos una larga y exitosa historia de colaboración con IBM en otros proyectos, y esto nos dio la confianza de que IBM tiene la innovación técnica y los servicios para abordar los retos del despliegue de una solución de almacenamiento a gran escala".
Al sustituir discos por cintas, Baidu ha cumplido y superado las metas que estableció al comienzo de su renovación de almacenamiento inactivo.
"Originalmente planeábamos obtener 11 "nueves" de confiabilidad y una reducción de costes operacionales de al menos el 50 % de la solución de almacenamiento en disco anterior, pero la solución de almacenamiento de IBM superó ambos objetivos", comenta Miao Yu. "La solución de almacenamiento de datos inactivos de IBM ofrece 12 "nueves" de confiabilidad y ha reducido nuestros costos operacionales en un 80 %, mejoras que han superado con creces nuestras expectativas".
Con un almacenamiento en cinta confiable y rentable y una plataforma de datos de alto rendimiento que apoya sus cargas de trabajo de IA y big data, Baidu AI Cloud puede abordar el rápido crecimiento de los datos y ampliar sus soluciones y servicios innovadores.
"Debemos almacenar las enormes cantidades de datos en Baidu AI Cloud, así como en nuestros servicios de búsqueda, vehículos autónomos y otros servicios, hasta por tres años o más, y hacerlos disponibles para la analítica y la conformidad cuando sea necesario", indica Miao Yu.
"Hoy, estos y otros datos principales pueden almacenarse de forma segura y rentable en nuestra plataforma de almacenamiento inactivo y extraerse rápidamente cuando lo necesitemos. La cinta es una solución eficaz porque consume muy poca electricidad: más del 90 % menos que un equivalente de almacenamiento en disco. Por lo tanto, podemos reducir significativamente nuestra huella ambiental, así como los costos".
Miao Yu concluye: "La combinación de IBM TS4500 Tape Libraries con IBM Storage Scale e IBM Storage Defender permite a Baidu AI Cloud reducir costos y escalar rápidamente para abordar el rápido crecimiento de datos. A continuación, planeamos crear una plataforma de gestión de almacenamiento en cinta unificada para todo Baidu, y esperamos trabajar con IBM para obtener todo el potencial del almacenamiento en cinta en toda la organización".
Junhua Jiang, gerente de cuentas sénior de Hyperscale Solutions Sales de IBM, dice: "Esperamos trabajar con Baidu para enriquecer su arquitectura de almacenamiento en la nube y crear un servicio de datos global líder para los clientes de Baidu Group y de la industria".
Acerca de Baidu, Inc. y Baidu AI Cloud
Fundada en 2000 y con sede en Pekín, China, Baidu, Inc. (enlace externo a ibm.com) es una empresa líder en IA. Baidu AI Cloud es la infraestructura de Baidu para la era inteligente. Con un lote completo de recursos de tecnología de IA, Baidu AI Cloud empodera a miles de clientes en múltiples industrias con su avanzada tecnología y soluciones integrales.
Componentes de la solución
IBM® Storage Scale
IBM Storage Defender
IBM TS4500 Tape Library
© Copyright IBM Corporation 2023. IBM Corporation, New Orchard Road, Armonk, NY 10504
Producido en los Estados Unidos de América, marzo de 2023.
IBM y el logotipo de IBM son marcas registradas de International Business Machines Corporation en Estados Unidos y/o en otros países. Otros nombres de productos y servicios pueden ser marcas registradas de IBM u otras empresas. Puede consultar una lista actualizada de las marcas registradas de IBM en ibm.com/trademark.
Este documento está actualizado conforme a la fecha inicial de la publicación y puede ser modificado por IBM en cualquier momento. No todas las ofertas están disponibles en todos los países en los que IBM opera.
Todos los ejemplos citados o descritos por los clientes se presentan como ilustración de la forma en que algunos clientes han utilizado los productos de IBM y los resultados que pudieron obtener. Tanto los costos ambientales como las características reales de rendimiento variarán según las configuraciones y condiciones individuales de cada cliente. Los resultados generalmente esperados no se pueden proporcionar ya que los resultados de cada cliente dependerán completamente de los sistemas del cliente y de los servicios solicitados. LA INFORMACIÓN PRESENTADA EN ESTE DOCUMENTO SE PROVEE “TAL CUAL” SIN GARANTÍA DE NINGÚN TIPO, NI EXPRESA NI IMPLÍCITA, INCLUSO, SIN NINGUNA GARANTÍA DE COMERCIABILIDAD, CONVENIENCIA PARA UN PROPÓSITO PARTICULAR Y CUALQUIER GARANTÍA O CONDICIÓN DE NO INFRACCIÓN. Los productos de IBM están garantizados de acuerdo con los términos y las condiciones de los acuerdos bajo los cuales se proporcionaron.
Las afirmaciones relativas a las intenciones futuras de IBM están sujetas a cambio o retirada sin previo aviso, y sólo representan objetivos.
Es posible que se informe la capacidad de almacenamiento disponible real para datos sin comprimir y comprimidos y variará o es posible que sea menor a lo establecido.