Multinationales Hightech-Unternehmen für künstliche Intelligenz ersetzt Festplatten durch leistungsfähige Bänder, speichert riesige Mengen an kalten Daten, senkt die Kosten um 80 % und ermöglicht schnelles Wachstum in den Bereichen künstliche Intelligenz, selbstfahrende Fahrzeuge und mehr
Mit der Einführung innovativer KI-Dienste steigt das Datenvolumen bei Baidu explosionsartig an. Um die Kosten zu senken, die Effizienz zu steigern und die Anforderungen an die Datenkonformität zu erfüllen, beauftragte das Unternehmen IBM damit, die traditionellen Plattenspeicher für kalte Daten durch eine neue Lösung zu ersetzen, die auf IBM® TS4500 Tape Libraries und IBM Storage Scale-Software basiert.
Ob autonome Fahrzeuge, KI oder das Internet der Dinge – Baidu ist in Sachen digitaler Innovation ganz vorne dabei. Abgesehen davon, dass Baidu die größte Internetsuchmaschine Chinas bereitstellt, liegt der Fokus des Unternehmens auf selbstfahrenden Fahrzeugen, Baidu AI Cloud, Baidu Netdisk und Video-Streaming-Plattformen.
Miao Yu, Senior Manager of the Cloud Storage Department bei Baidu AI Cloud, erklärt: „Angesichts der Tatsache, dass immer mehr Branchen ihre digitalen Möglichkeiten ausbauen, möchten wir für Kunden aus Bereichen wie Transport, Finanzen und Behörden Cloud-Produkte bereitstellen. Durch die Cloud- und Intelligence-Funktionen von Baidu AI Cloud können wir Unternehmen dabei helfen, Kosteneffizienz zu erschließen und neue Wertquellen zu schaffen.“
Auf der gesamten Baidu-Plattform wächst das Volumen, die Dynamik und die Vielfalt der Daten rasant. Die enorme Popularität der Baidu AI Cloud und der KI-Angebote des Unternehmens hat zu einem massiven Anstieg der Speicheranforderungen geführt. Gleichzeitig steigt die Akzeptanz von Baidu's Smart City-, Smart Home- und Fahrzeugautomatisierungslösungen stark an, wodurch sich die zunehmende Notwendigkeit ergibt, Daten in Echtzeit abzurufen und langfristig zu speichern.
„Unser Datenzuwachs lässt keine Anzeichen einer Verlangsamung erkennen“, fährt Miao Yu fort. „Die neuesten selbstfahrenden Fahrzeuge sind mit weit mehr Sensoren ausgestattet als ihre Vorgänger, und die Menge der pro Fahrzeug erzeugten Daten kann bis zu 10 TB pro Tag betragen. Auch das rasante Wachstum der Smart-Home-Kategorie und die große Beliebtheit von Livestreaming in China bringen enorme Datenmengen mit sich, was wiederum zu Problemen im Bereich der Datenspeicherung führt. Seit 2019 haben sich unsere Datenvolumen mehr als verdreifacht und jetzt speichern wir etwa 100 Exabyte [EB] an Daten.“
In der Vergangenheit verließ sich Baidu auf Plattenspeicher für die langfristige Datenspeicherung. Die Platten verfügten jedoch über eine maximale Kapazität von 20 TB pro Laufwerk, was die Speicherdichte einschränkte, wertvollen Platz beanspruchte und höhere Kosten verursachte. Baidu erkannte die Unzulänglichkeiten dieses Ansatzes und hielt Ausschau nach einer ausfallsichereren, effizienteren und skalierbaren Plattform für die Speicherung von kalten Daten, die auch einen kontinuierlichen Datenzuwachs bewältigen kann.
90 %
durch Ersetzung von Festplatten durch Bänder für die Speicherung kalter Daten
80 %
verglichen mit der vorherigen Plattenspeicherplattform
Der kombinierte Einsatz von IBM TS4500 Tape Libraries mit IBM Storage Scale und IBM Storage Defender ermöglicht es der Baidu AI Cloud, Kosten zu senken und schnell zu skalieren, um den explosiven Datenzuwachs zu bewältigen.
Miao Yu
Senior Manager of the Cloud Storage Department, Baidu AI Cloud
Um den Bedarf der Kunden an unbegrenzter Datenskalierung zu erfüllen, hat Baidu AI Cloud Experten von IBM mit der Planung, dem Design, der Bereitstellung und der Konfiguration einer zukunftssicheren Speicherarchitektur für kalte Daten beauftragt, die aus IBM TS4500 Tape Libraries und den IBM Storage Scale- und IBM Storage Defender-Lösungen besteht.
„Verschiedene Arten von Datennutzungsszenarien stellen unterschiedliche Anforderungen an unser Speichersystem“, erklärt Miao Yu. „Hochleistungsrechenlasten erfordern beispielsweise einen hohen Durchsatz sowie Lese- und Schreibzugriffe mit geringer Latenz. Bei anderen Anwendungsszenarien, wie zum Beispiel der Speicherung von Protokolldateien, die von unseren Überwachungssystemen generiert wurden, müssen wir in der Lage sein, Daten schnell abzurufen, auch wenn Jahre seit ihrer Speicherung vergangen sind. Wir suchten eine Speicherlösung für kalte Daten mit größerer Kosteneffizienz, hoher IOPS-Leistung und 24x7-Verfügbarkeit – und IBM hat sie geliefert.“
Die IBM Lösung lässt sich in die bestehende dezentrale Speicherarchitektur der Baidu AI Cloud integrieren. IBM TS4500 Tape Libraries für die kalte Datenspeicherung werden zusammen mit traditionellen Solid-State-Laufwerken für heiße Daten und Festplattenlaufwerken für die warme Datenspeicherung eingesetzt. Die Daten bewegen sich problemlos durch den mehrschichtigen Speicher und erlauben einen schnellen Zugriff. Darüber hinaus lassen sich Bänder mehr als 30 Jahre lang aufbewahren – und das zu wesentlich geringeren Kosten als Festplatten.
Die IBM Speicherlösung für kalte Daten erreicht eine Zuverlässigkeit von 99,9999999999 % (12 Nines) und hat unsere operativen Kosten um 80 % gesenkt – und unsere Erwartungen weit übertroffen.
Miao Yu
Senior Manager of the Cloud Storage Department, Baidu AI Cloud
„Die IBM Lösung hat uns absolut überzeugt“, sagt Miao Yu. „Mit IBM Storage Scale können wir die Daten in unserer Umgebung frei fließen lassen und gleichzeitig unsere Speicherarchitektur vereinfachen, um die Verwaltung und Wartung zu erleichtern.“
Um sicherzustellen, dass die neue Plattform die langfristigen Anforderungen der Baidu AI Cloud für Skalierbarkeit erfüllt, haben die IBM Experten automatisierte Deployment-Workflows erstellt. Auf diese Weise können 20 kalte Speicherknoten in einem einzigen Batch bereitgestellt werden, was sowohl die Bereitstellung als auch die Erweiterung erheblich beschleunigt.
Außerdem unterstützte IBM Baidu bei der Anpassung und Integration von Daten aus der IBM Bandspeicherlösung in die eigene Plattform, sodass Baidu Probleme schnell erkennen und beheben und die Lösung online stellen konnte. Bis heute hat Baidu 14 IBM TS4500 Tape Libraries in seinem Rechenzentrum in Yangquan eingesetzt, in dem mehr als 2 EB an kalten Daten gespeichert sind.
Miao Yu weiter: „IBM erfüllte und übertraf alle unsere wichtigsten Auswahlkriterien, und nach einem erfolgreichen Machbarkeitsnachweis waren wir sicher, dass IBM TS4500 Tape Libraries mit IBM Storage-Lösungen die perfekte Lösung für die Kosten- und Platzproblematik bei der Plattenspeicherung sein würden. Wir können auf eine lange und erfolgreiche Zusammenarbeit mit IBM bei anderen Projekten zurückblicken. Deshalb hatten wir die Gewissheit, dass IBM die erforderlichen technischen Innovationen und Services zur Verfügung stellen kann, um die Herausforderungen im Zusammenhang mit der Bereitstellung einer groß angelegten Speicherlösung zu meistern.“
Durch den Austausch von Festplatten durch Bandspeicher hat Baidu die Erfolgskriterien erfüllt und sogar übertroffen, die zu Beginn der Erneuerung des kalten Speichers festgelegt wurden.
„Ursprünglich haben wir „11 Nines“ der Zuverlässigkeit und eine Senkung der Betriebskosten um mindestens 50 % gegenüber der vorherigen Plattenspeicherlösung angestrebt. Die Speicherlösung von IBM hat beide Ziele übertroffen“, kommentiert Miao Yu. Die IBM Speicherlösung für kalte Daten erreicht eine Zuverlässigkeit von 99,9999999999 % (12 Nines) und hat unsere operativen Kosten um 80 % gesenkt – und unsere Erwartungen mehr als erfüllt.
Mit einer kosteneffizienten, zuverlässigen Bandspeicherlösung und einer leistungsfähigen Datenplattform, die die KI- und Big Data-Workloads unterstützt, kann Baidu AI Cloud einen schnellen Datenzuwachs bewältigen und seine innovativen Angebote und Services erweitern.
„Wir müssen die riesigen Datenmengen in der Baidu AI Cloud – ebenso wie diejenigen unseres Suchdienstes, des autonomen Fahrens und anderer Services – bis zu drei Jahre oder länger speichern und sie gegebenenfalls für Analysen und Compliance zur Verfügung stellen,“ erklärt Miao Yu.
„Jetzt können diese und andere Schlüsseldaten sicher und kosteneffizient auf unserer kalten Speicherplattform gespeichert und bei Bedarf schnell abgerufen werden. Bandspeichersysteme sind eine effiziente Lösung, da sie sehr wenig Strom verbrauchen – über 90 % weniger als ein entsprechender Plattenspeicher. So können wir nicht nur unseren ökologischen Fußabdruck deutlich reduzieren sondern auch Kosten sparen.“
Abschließend sagt Miao Yu: „Der kombinierte Einsatz von IBM TS4500 Tape Libraries mit IBM Storage Scale und IBM Storage Defender ermöglicht es der Baidu AI Cloud, Kosten zu senken und schnell zu skalieren, um den explosiven Datenzuwachs zu bewältigen. Als nächstes wollen wir eine einheitliche Bandspeichermanagementplattform für ganz Baidu schaffen, und wir freuen uns auf die Zusammenarbeit mit IBM, um das volle Potenzial der Bandspeicherung im gesamten Unternehmen auszuschöpfen.“
Junhua Jiang, Senior Account Manager – Hyperscale Solutions Sales bei IBM, kommentiert: „Wir freuen uns auf die Zusammenarbeit mit Baidu, um ihre Cloud-Speicherarchitektur auszubauen und einen führenden globalen Datenservice für die Baidu-Gruppe und Branchenkunden zu schaffen.“
Über Baidu, Inc. und Baidu AI Cloud
Das im Jahr 2000 gegründete Unternehmen Baidu, Inc. (Link befindet sich außerhalb von ibm.com) mit Hauptsitz in Peking, China ist ein führendes KI-Unternehmen. Die Baidu AI Cloud repräsentiert Baidus Infrastruktur für das Smart-Zeitalter. Mit einem umfassenden Angebot an KI-Technologiekapazitäten unterstützt die Baidu AI Cloud Tausende von Kunden aus verschiedenen Branchen mit innovativen Technologien und umfassenden Lösungen.
Lösungskomponenten
IBM® Storage Scale
IBM Storage Defender
IBM TS4500 Tape Library
© Copyright IBM Corporation 2023. IBM Corporation, New Orchard Road, Armonk, NY 10504
Produziert in den Vereinigten Staaten von Amerika, März 2023.
IBM und das IBM-Logo sind Marken oder eingetragene Marken der International Business Machines Corporation, eingetragen in den USA und/oder anderen Ländern. Weitere Produkt- und Servicenamen können Marken von IBM oder anderen Unternehmen sein. Eine aktuelle Liste der IBM Marken finden Sie unter ibm.com/trademark.
Die in diesem Dokument enthaltenen Informationen sind zum Datum der Erstveröffentlichung des Dokuments aktuell und können von IBM jederzeit geändert werden. Nicht alle Angebote sind in jedem Land verfügbar, in dem IBM tätig ist.
Alle in diesem Dokument genannten oder beschriebenen Beispiele verdeutlichen lediglich, wie IBM Produkte von bestimmten Kunden eingesetzt und welche Ergebnisse dabei erzielt wurden. Abhängig von den Konfigurationen und Bedingungen in der Umgebung des Kunden können die tatsächlichen Kosten und Leistungsmerkmale davon abweichen. Allgemein erwartete Ergebnisse können nicht bereitgestellt werden, da die Ergebnisse der einzelnen Kunden vollständig von den bestellten Systemen und Services des Kunden abhängen. Die Informationen in diesem Dokument werden ohne jegliche Gewährleistung, ausdrücklich oder stillschweigend, zur Verfügung gestellt, auch ohne Gewährleistung für die Handelsüblichkeit, die Verwendungsfähigkeit für einen bestimmten Zweck und die Gewährleistung oder die Bedingung der Nichtverletzung von Rechten. Für IBM Produkte gelten die Gewährleistungen, die in den Vereinbarungen vorgesehen sind, unter denen sie erworben werden.
Aussagen über die zukünftige Ausrichtung und Vorhaben von IBM vorbehalten, da sie lediglich Ziele und Absichten darstellen.
Die tatsächlich verfügbare Speicherkapazität kann für nicht komprimierte und komprimierte Daten angegeben sein, kann variieren und niedriger sein als angegeben.