Baidu innova la tecnologia con una piattaforma dati estremamente scalabile

Dai veicoli a guida autonoma all'AI, fino all'Internet of Things (IoT), Baidu è all'avanguardia nell'innovazione digitale. Oltre a fornire il più grande motore di ricerca Internet della Cina, la strategia dell'azienda si focalizza su guida autonoma, Baidu AI Cloud, Baidu Netdisk e sulle piattaforme di streaming video.

Miao Yu, Senior Manager del dipartimento Cloud Storage di Baidu AI Cloud, spiega: "Mentre sempre più settori aggiornano le proprie capacità digitali, il nostro obiettivo è fornire prodotti cloud ai clienti in settori come i trasporti, la finanza e la pubblica amministrazione. Attraverso le funzionalità cloud e di intelligence di Baidu AI Cloud, possiamo aiutare le aziende a ottenere efficienza nei costi e a creare nuovi centri di ricavo".

Sulla piattaforma Baidu, i dati crescono rapidamente in volume, velocità e varietà. La crescente popolarità delle offerte Baidu AI Cloud e AI dell'azienda ha innescato un enorme aumento delle esigenze di storage. Allo stesso tempo, l'adozione delle soluzioni di Baidu per smart city, case intelligenti e automazione dei veicoli è in forte aumento, incrementando ulteriormente la necessità di accesso ai dati in tempo reale e della loro conservazione a lungo termine.

"La nostra crescita dei dati non mostra alcun segno di rallentamento", continua Miao Yu. "Gli ultimi veicoli autonomi hanno molti più sensori rispetto ai loro predecessori, la quantità di dati generati per veicolo può arrivare fino a 10 TB al giorno. Allo stesso modo, la rapida crescita della casa intelligente e la diffusa popolarità del live streaming in Cina comportano quantità enormi di dati, una sfida per lo storage. Dal 2019, i nostri volumi di dati sono più che triplicati e ora memorizziamo circa 100 exabyte [EB] di dati".

In passato, Baidu si affidava allo storage su disco per la conservazione dei dati a lungo termine. Tuttavia i suoi dischi avevano una capacità massima di 20 TB per unità, limitando la densità dello storage, consumando spazio di lavoro prezioso e aumentando i costi. Riconoscendo che questo approccio non era ottimale, Baidu cercava una piattaforma di storage dei dati inutilizzati più resiliente, efficiente e scalabile, in grado di soddisfare la continua crescita dei volumi.

Per soddisfare le esigenze di scalabilità illimitata dei dati dei suoi clienti, Baidu AI Cloud ha coinvolto gli esperti di IBM per pianificare, progettare, distribuire e configurare un'architettura innovativa di archiviazione dei dati inutilizzati, composta dalle soluzioni IBM TS4500 Tape Libraries, IBM Storage Scale e IBM Storage Defender.

"Diversi tipi di scenari di utilizzo dei dati impongono requisiti diversi al nostro sistema di storage", spiega Miao Yu. "Ad esempio, i carichi di lavoro di elaborazione ad alte prestazioni richiedono throughput elevato e accesso in lettura e scrittura a bassa latenza. In altri scenari di utilizzo, come l'archiviazione dei file di registro generati dai nostri sistemi di monitoraggio, dobbiamo essere in grado di recuperare rapidamente i dati anche se sono trascorsi anni da quando sono stati archiviati. Cercavamo una soluzione di cold storage con maggiore efficienza in termini di costi, IOPS elevati e disponibilità 24x7, e IBM l'ha fornita".

La soluzione IBM si integra con l'architettura di storage distribuito di Baidu AI Cloud. Le IBM TS4500 Tape Libraries per l'archiviazione dei dati inutilizzati sono integrate con le unità a stato solido legacy per i dati più usati e con le unità a disco rigido per quelli meno usati. I dati si spostano senza soluzione di continuità nel sistema di storage a più livelli, assicurando un accesso ad alte prestazioni. Inoltre i nastri possono essere conservati per oltre 30 anni, a un costo molto inferiore rispetto ai dischi.

"Siamo rimasti colpiti dalla soluzione IBM", afferma Miao Yu. "Con IBM Storage Scale, possiamo lasciare che i dati fluiscano liberamente nel nostro ambiente, semplificando allo stesso tempo la nostra architettura di storage per una gestione e una manutenzione più semplici".

Per assicurare che la nuova piattaforma soddisfi i requisiti a lungo termine di Baidu AI Cloud per la scalabilità, gli esperti IBM hanno creato workflow di implementazione automatizzati. Questi consentono l'accesso a 20 nodi di cold storage da un unico batch, accelerando notevolmente sia l'implementazione che l'espansione.

Col supporto di IBM, Baidu ha anche adattato e integrato meglio i dati che arrivano dallo storage su nastro IBM verso la propria piattaforma, identificando e risolvendo rapidamente i problemi e portando la soluzione online. Ad oggi, Baidu ha implementato 14 librerie di nastri IBM TS4500 presso il suo data center di Yangquan, archiviando più di 2 EB di dati inutilizzati.

Miao Yu spiega: "IBM ha soddisfatto e superato tutti i nostri principali criteri di selezione e, dopo un'installazione di prova riuscita, eravamo certi che le IBM TS4500 Tape Libraries con soluzioni IBM Storage sarebbero state perfette per risolvere le crescenti esigenze di costi e spazio che dovevamo affrontare con l'archiviazione su dischi. Abbiamo una lunga storia di successo nella collaborazione con IBM su altri progetti: è questo che ci ha dato la certezza che IBM dispone dell’innovazione tecnica e dei servizi per affrontare le sfide legate all’implementazione dello storage su larga scala".

Sostituendo i dischi con i nastri, Baidu ha soddisfatto e superato i criteri di riuscita stabiliti all'inizio dell'aggiornamento del sistema di cold storage.

"Inizialmente avevamo come obiettivo un livello di affidabilità di 11 nove e una riduzione dei costi operativi di almeno il 50% rispetto alla precedente soluzione di storage su disco, ma lo storage di IBM ha superato entrambi gli obiettivi", commenta Miao Yu. "La soluzione IBM Cold Data Storage offre 12 nove di affidabilità e ha ridotto i nostri costi operativi dell'80%: miglioramenti che hanno superato di gran lunga le nostre aspettative".

Con uno storage su nastro affidabile ed economicamente vantaggioso e una piattaforma dati ad alte prestazioni che supporta i carichi di lavoro di AI e big data, Baidu AI Cloud è in grado di sostenere la rapida crescita dei dati e di espandere la sua offerta con servizi innovativi.

"Dobbiamo archiviare enormi quantità di dati su Baidu AI Cloud per almeno tre anni, tra cui quelli per il nostro motore di ricerca, la guida autonoma e altri servizi, e renderli disponibili per l'uso di analytics e verifiche di conformità quando necessario", spiega Miao Yu.

"Oggi, questi e altri dati chiave possono essere archiviati in modo sicuro ed economico nella nostra piattaforma di cold storage, per essere recuperati rapidamente quando servono. Il nastro è una soluzione efficiente perché consuma pochissima elettricità, oltre il 90% in meno rispetto a un dispositivo di archiviazione su disco equivalente. Così possiamo ridurre significativamente il nostro impatto ambientale e risparmiare sui costi".

Miao Yu conclude: "La combinazione di IBM TS4500 Tape Libraries con IBM Storage Scale e IBM Storage Defender consente a Baidu AI Cloud di ridurre i costi e di scalare rapidamente, adattandosi alla crescita esponenziale dei dati. In futuro, abbiamo intenzione di creare una piattaforma unificata di gestione dello storage a nastro per l'intera Baidu, e non vediamo l'ora di collaborare con IBM per sfruttare il pieno potenziale di questa tecnologia in tutta l'organizzazione".

Junhua Jiang, Senior Account Manager, Hyperscale Solutions Sales di IBM, afferma: "Non vediamo l'ora di lavorare con Baidu per arricchire la loro architettura di storage cloud, creando un servizio dati tra i più avanzati nel mondo per Baidu Group e i clienti del settore".

Fondata nel 2000 e con sede a Pechino, in Cina, Baidu, Inc. (link esterno a ibm.com) è una delle principali società di AI. Il Baidu AI Cloud è l'infrastruttura di Baidu per l'era smart. Con una gamma completa di funzionalità tecnologiche AI, Baidu AI Cloud offre a migliaia di clienti, in diversi settori, la sua tecnologia avanzata e le sue soluzioni complete.