A Baidu permite a inovação tecnológica com uma plataforma de dados ultra-escalável

De veículos autônomos à IA e à Internet das Coisas (IoT), a Baidu está na vanguarda da inovação digital. Além de entregar o maior mecanismo de busca na Internet da China, a estratégia da empresa inclui direção autônoma, Baidu AI Cloud, Baidu Netdisk e plataformas de streaming de vídeo.

Miao Yu, gerente sênior do departamento de armazenamento em nuvem da Baidu AI Cloud, explica: "À medida que mais setores atualizam seus recursos digitais, nosso objetivo é fornecer produtos em nuvem aos clientes em setores como transporte, finanças e governo. Por meio dos recursos de nuvem e inteligência da Baidu AI Cloud, podemos ajudar as empresas a desbloquear eficiências de custo e criar novas fontes de valor."

Em toda a plataforma Baidu, os dados estão crescendo rapidamente em volume, velocidade e variedade. A crescente popularidade das ofertas de IA e da IA Baidu Cloud da empresa desencadeou um enorme aumento nos requisitos de armazenamento. Ao mesmo tempo, a adoção das soluções de cidade inteligente, casa inteligente e automação de veículos da Baidu está aumentando acentuadamente, aumentando ainda mais a necessidade de acesso a dados em tempo real e retenção de dados de longo prazo.

"Nosso crescimento de dados não mostra sinais de desaceleração", continua Miao Yu. "Os veículos autônomos mais recentes são equipados com muito mais sensores do que seus antecessores, e a quantidade de dados gerados por veículo pode chegar a 10 TB por dia. Da mesma forma, o rápido crescimento da categoria de casa inteligente e a popularidade generalizada do livestreaming na China trazem enormes quantidades de dados, levando a desafios de armazenamento. Desde 2019, nossos volumes de dados mais que triplicaram e agora armazenamos aproximadamente 100 exabytes [EB] de dados.”

No passado, a Baidu contava com o armazenamento em disco para retenção de dados em longo prazo. No entanto, seus discos tinham uma capacidade máxima de 20 TB por unidade, limitando a densidade de armazenamento, consumindo espaço útil e aumentando os custos. Reconhecendo que essa abordagem não era a ideal, a Baidu procurou uma plataforma de armazenamento de dados a frio mais resiliente, eficiente e escalável que pudesse acomodar o crescimento contínuo dos dados.

Para atender às necessidades de seus clientes de escalabilidade ilimitada de dados, a Baidu AI Cloud contratou especialistas da IBM para planejar, projetar, implementar e configurar uma arquitetura de armazenamento de dados a frio pronta para o futuro que consiste nas IBM TS4500 Tape Libraries e nas soluções IBM Storage Scale e IBM Storage Defender.

"Diferentes tipos de cenários de uso de dados colocam diferentes demandas em nosso sistema de armazenamento", explica Miao Yu. "Por exemplo, cargas de trabalho de computação de alto desempenho exigem alta taxa de transferência e acesso de leitura e gravação de baixa latência. Para outros cenários de uso, como o armazenamento de arquivos de registro gerados por nossos sistemas de monitoramento, devemos ser capazes de recuperar dados rapidamente, mesmo que tenham se passado anos desde que foram armazenados. Buscamos uma solução de armazenamento a frio com maior eficiência de custo, alto IOPS e disponibilidade 24 horas por dia, 7 dias por semana - e a IBM nos atendeu."

A solução IBM se integra à arquitetura de armazenamento distribuído existente da Baidu AI Cloud. As IBM TS4500 Tape Libraries para armazenamento frio de dados são usadas com unidades de estado sólido legadas para dados quentes e unidades de disco rígido para armazenamento quente. Os dados se movem perfeitamente pelo sistema de armazenamento hierárquico, permitindo acesso de alto desempenho. Além disso, as fitas podem ser retidas por mais de 30 anos a um custo muito menor do que os discos.

"Ficamos impressionados com a solução IBM", diz Miao Yu. "Com o IBM Storage Scale, podemos deixar os dados fluírem livremente em todo o nosso ambiente e, ao mesmo tempo, simplificar nossa arquitetura de armazenamento para facilitar o gerenciamento e a manutenção."

Para garantir que a nova plataforma atendesse aos requisitos de escalabilidade de longo prazo do Baidu AI Cloud, os especialistas da IBM criaram fluxos de trabalho de implantação automatizados. Isso permite que 20 nós de armazenamento a frio sejam provisionados em um único lote, acelerando significativamente a implantação e a expansão.

A IBM também ajudou a Baidu a adaptar e integrar melhor os dados da solução de armazenamento em fita da IBM com sua própria plataforma, permitindo que a Baidu identificasse e resolvesse problemas rapidamente e colocasse a solução on-line. Até o momento, Baidu implementou 14 IBM TS4500 Tape Libraries em seu data center em Yangquan, armazenando mais de 2 EB de dados a frio.

Miao Yu elabora: "A IBM atendeu e excedeu todos os nossos principais critérios de seleção e, após uma prova de conceito bem-sucedida, tivemos certeza de que as IBM TS4500 Tape Libraries com soluções IBM Storage seriam a maneira perfeita de resolver as pressões de custo e espaço que enfrentamos em torno do armazenamento em disco. Temos uma longa e bem-sucedida história de colaboração com a IBM em outros projetos, e isso nos deu a confiança de que a IBM tem a inovação técnica e os serviços para enfrentar os desafios de implementar uma solução de armazenamento em larga escala."

Ao substituir discos por fitas, a Baidu atendeu e excedeu os critérios de sucesso estabelecidos no início de sua atualização de armazenamento a frio.

"Visávamos originalmente 11 noves de confiabilidade e uma redução de custo operacional de pelo menos 50% da solução de armazenamento em disco anterior, mas a solução de armazenamento da IBM superou essas duas metas", comenta Miao Yu. "A solução de armazenamento de dados a frio da IBM oferece 12 noves de confiabilidade e reduziu nossos custos operacionais em 80% — melhorias que excederam em muito nossas expectativas."

Com armazenamento em fita econômico e confiável e uma plataforma de dados de alto desempenho que suporta suas cargas de trabalho de IA e big data, a Baidu AI Cloud pode acomodar o rápido crescimento de dados e expandir suas ofertas e serviços inovadores.

"Devemos armazenar as enormes quantidades de dados no Baidu AI Cloud – bem como em nossos serviços de pesquisa, direção autônoma e outros – por até três anos ou mais, e disponibilizá-los para uso de análise e conformidade sempre que necessário", explica Miao Yu.

"Hoje, esses e outros dados importantes podem ser armazenados de forma segura e econômica em nossa plataforma de armazenamento fria e rapidamente recuperados sob demanda. A fita é uma solução eficiente porque consome muito pouca eletricidade — mais de 90% menos do que um armazenamento em disco equivalente. Assim, podemos reduzir significativamente nossa pegada ambiental, além de economizar custos.”

Miao Yu conclui: "A combinação das bibliotecas de fitas IBM TS4500 com o IBM Storage Scale e o software IBM Storage Defender permite que o Baidu AI Cloud reduza custos e escale rapidamente para acomodar o crescimento explosivo de dados. Em seguida, planejamos criar uma plataforma unificada de gerenciamento de armazenamento em fita para toda a Baidu e estamos ansiosos para trabalhar com a IBM para liberar todo o potencial do armazenamento em fita em toda a organização."

Junhua Jiang, gerente sênior de contas – Hyperscale Solutions Sales na IBM, afirma: "Estamos ansiosos para trabalhar com a Baidu para enriquecer sua arquitetura de armazenamento em nuvem e criar um serviço de dados global líder para o Baidu Group e clientes do setor".

Fundada em 2000 e com sede em Pequim, na China, a Baidu, Inc. (link reside fora do ibm.com) é uma empresa líder em IA. A IA Baidu Cloud é a infraestrutura da Baidu para a era inteligente. Com uma pilha completa de recursos de tecnologia de IA, a Baidu AI Cloud capacita milhares de clientes em vários setores com sua tecnologia avançada e soluções abrangentes.