Baidu ermöglicht technologische Innovation mit einer hochskalierbaren Datenplattform

Ganz gleich, ob autonome Fahrzeuge, KI oder das Internet der Dinge – in puncto digitale Innovation ist Baidu ganz vorne dabei. Abgesehen davon, dass Baidu die größte Internetsuchmaschine Chinas bereitstellt, liegt der Fokus des Unternehmens auf selbstfahrenden Fahrzeugen, Baidu AI Cloud, Baidu Netdisk und Video-Streaming-Plattformen.

Miao Yu, Senior Manager des Cloud Storage Department bei Baidu AI Cloud, erklärt: „Da immer mehr Branchen ihre digitalen Kapazitäten ausbauen, möchten wir unseren Kunden in Branchen wie dem Transportwesen, dem Finanzwesen und der Regierung Cloud-Produkte anbieten. Durch die Cloud- und Intelligence-Funktionen von Baidu AI Cloud können wir Unternehmen dabei helfen, Kosteneinsparungen zu erzielen und neue Wertschöpfungsquellen zu erschließen.“

Das Volumen, die Geschwindigkeit und die Vielfalt der Daten auf der Baidu-Plattform nehmen rasant zu. Die enorme Popularität der Baidu AI Cloud und der KI-Angebote des Unternehmens hat zu einem massiven Anstieg der Speicheranforderungen geführt. Gleichzeitig steigt die Nachfrage nach Baidus Lösungen für Smart-City-, Smart-Home- und Fahrzeugautomatisierung stark an, was den Bedarf an Echtzeitdatenzugriff und langfristiger Datenaufbewahrung weiter erhöht.

„Unser Datenzuwachs lässt keine Anzeichen einer Verlangsamung erkennen“, fährt Miao Yu fort. „Die neuesten selbstfahrenden Fahrzeuge sind mit weit mehr Sensoren ausgestattet als ihre Vorgänger, und die Menge der pro Fahrzeug erzeugten Daten kann bis zu 10 TB pro Tag betragen. Auch das rasante Wachstum der Smart-Home-Kategorie und die große Beliebtheit von Livestreaming in China bringen enorme Datenmengen mit sich, was wiederum zu Problemen im Bereich der Datenspeicherung führt. Seit 2019 hat sich unsere Datenvolumen mehr als verdreifacht und jetzt speichern wir etwa 100 Exabyte [EB] an Daten.“

In der Vergangenheit verließ sich Baidu auf Plattenspeicher für die langfristige Datenaufbewahrung. Die Platten verfügten jedoch über eine maximale Kapazität von 20 TB pro Laufwerk, was die Speicherdichte einschränkte, wertvollen Platz beanspruchte und höhere Kosten verursachte. Baidu erkannte, dass diese Lösung nicht optimal war, und suchte nach einer stabileren, effizienteren und skalierbaren Plattform für die Speicherung von kalten Daten, die auch einen kontinuierlichen Datenzuwachs bewältigen kann.

Um den Bedarf seiner Kundschaft an unbegrenzter Datenskalierung zu decken, beauftragte Baidu AI Cloud Experten von IBM mit der Planung, dem Design, der Bereitstellung und der Konfiguration einer zukunftsfähigen Cold-Data-Speicherarchitektur, die aus IBM TS4500 Tape Libraries und den Lösungen IBM Storage Scale und IBM Storage Defender besteht.

„Verschiedene Arten von Datennutzungsszenarien stellen unterschiedliche Anforderungen an unser Speichersystem“, erklärt Miao Yu. „Hochleistungsrechenlasten erfordern beispielsweise einen hohen Durchsatz sowie Lese- und Schreibzugriffe mit geringer Latenz. Bei anderen Anwendungsszenarien, wie zum Beispiel der Speicherung von Protokolldateien, die von unseren Überwachungssystemen generiert wurden, müssen wir in der Lage sein, Daten schnell abzurufen, auch wenn Jahre seit ihrer Speicherung vergangen sind. Wir suchten eine Speicherlösung für kalte Daten mit größerer Kosteneffizienz, hoher IOPS-Leistung und 24x7-Verfügbarkeit – und IBM hat sie geliefert.“

Die IBM Lösung lässt sich in die bestehende dezentrale Speicherarchitektur der Baidu AI Cloud integrieren. IBM TS4500 Tape Libraries für die kalte Datenspeicherung werden zusammen mit traditionellen Solid-State-Laufwerken für heiße Daten und Festplattenlaufwerken für die warme Datenspeicherung eingesetzt. Die Daten bewegen sich problemlos durch den mehrschichtigen Speicher und erlauben einen schnellen Zugriff. Darüber hinaus lassen sich Bänder mehr als 30 Jahre lang aufbewahren – und das zu wesentlich geringeren Kosten als Festplatten.

„Die IBM Lösung hat uns beeindruckt“, sagt Miao Yu. „Mit IBM Storage Scale können wir die Daten in unserer Umgebung frei verschieben und gleichzeitig unsere Speicherarchitektur für eine bessere Verwaltung und Wartung vereinfachen.“

Um sicherzustellen, dass die neue Plattform die langfristigen Anforderungen der Baidu AI Cloud für Skalierbarkeit erfüllt, haben die IBM Experten automatisierte Deployment-Workflows erstellt. Auf diese Weise können 20 kalte Speicherknoten in einem einzigen Batch bereitgestellt werden, was sowohl die Bereitstellung als auch die Erweiterung erheblich beschleunigt.

Außerdem unterstützte IBM Baidu bei der Anpassung und Integration von Daten aus der IBM Bandspeicherlösung in die eigene Plattform, sodass Baidu Probleme schnell erkennen und beheben und die Lösung online stellen konnte. Bis heute hat Baidu 14 IBM TS4500 Tape Libraries in seinem Rechenzentrum in Yangquan eingesetzt, in dem mehr als 2 EB an kalten Daten gespeichert sind.

Miao Yu führt das weiter aus: „IBM erfüllte und übertraf alle unsere wichtigsten Auswahlkriterien. Nach einem erfolgreichen Machbarkeitsnachweis waren wir sicher, dass IBM TS4500 Tape Libraries mit IBM Storage-Lösungen die perfekte Lösung für die Kosten- und Platzproblematik bei der Plattenspeicherung sein würden. Wir können auf eine lange und erfolgreiche Zusammenarbeit mit IBM bei anderen Projekten zurückblicken. Deshalb hatten wir die Gewissheit, dass IBM die erforderlichen technischen Innovationen und Services zur Verfügung stellen kann, um die Herausforderungen im Zusammenhang mit der Bereitstellung einer groß angelegten Speicherlösung zu meistern.“

Durch den Austausch von Festplatten durch Bandspeicher hat Baidu die Erfolgskriterien erfüllt und sogar übertroffen, die zu Beginn der Erneuerung des kalten Speichers festgelegt wurden.

„Ursprünglich wollten wir eine Zuverlässigkeit von 11 Neunen und eine Senkung der Betriebskosten um mindestens 50 % im Vergleich zur vorherigen Plattenspeicherlösung erreichen. Die Speicherlösung von IBM hat diese beiden Ziele jedoch übertroffen“, sagt Miao Yu. „Die IBM Cold-Data-Speicherlösung bietet eine Zuverlässigkeit von 12 Neunen und hat unsere Betriebskosten um 80 % gesenkt – Verbesserungen, die unsere Erwartungen weit übertroffen haben.“

Mit einer kosteneffizienten, zuverlässigen Bandspeicherlösung und einer leistungsfähigen Datenplattform, die die KI- und Big Data-Workloads unterstützt, kann Baidu AI Cloud einen schnellen Datenzuwachs bewältigen und seine innovativen Angebote und Services erweitern.

„Wir müssen die riesigen Datenmengen in der Baidu AI Cloud – ebenso wie diejenigen unseres Suchdienstes, des autonomen Fahrens und anderer Services – bis zu drei Jahre oder länger speichern und sie gegebenenfalls für Analysen und Compliance zur Verfügung stellen“, erklärt Miao Yu.

„Jetzt können diese und andere Schlüsseldaten sicher und kosteneffizient auf unserer kalten Speicherplattform gespeichert und bei Bedarf schnell abgerufen werden. Bandspeichersysteme sind eine effiziente Lösung, da sie sehr wenig Strom verbrauchen – über 90 % weniger als ein entsprechender Plattenspeicher. So können wir nicht nur unseren ökologischen Fußabdruck deutlich reduzieren, sondern auch Kosten sparen.“

Abschließend erklärt Maio Yu: „Der kombinierte Einsatz von IBM TS4500 Tape Libraries mit IBM Storage Scale und IBM Storage Defender ermöglicht es der Baidu AI Cloud, Kosten zu senken und schnell zu skalieren, um den explosiven Datenzuwachs zu bewältigen. Als Nächstes wollen wir eine einheitliche Bandspeichermanagementplattform für ganz Baidu schaffen, und wir freuen uns auf die Zusammenarbeit mit IBM, um das volle Potenzial der Bandspeicherung im gesamten Unternehmen auszuschöpfen.“

Junhua Jiang, Senior Account Manager – Hyperscale Solutions Sales bei IBM, sagt: „Wir freuen uns darauf, mit Baidu zusammenzuarbeiten, um die Cloud-Storage-Architektur des Unternehmens zu erweitern und einen führenden globalen Datenservice für die Baidu-Gruppe und Kunden aus der Branche zu schaffen.“

Das im Jahr 2000 gegründete Unternehmen Baidu, Inc. (Link befindet sich außerhalb von ibm.com) mit Hauptsitz in Peking, China ist ein führendes KI-Unternehmen. Die Baidu AI Cloud repräsentiert Baidus Infrastruktur für das Smart-Zeitalter. Mit einem umfassenden Angebot an KI-Technologiekapazitäten unterstützt die Baidu AI Cloud Tausende von Kunden aus verschiedenen Branchen mit innovativen Technologien und umfassenden Lösungen.