Die University of Queensland (UQ), eine Forschungseinrichtung von Weltrang, wollte die Datenerfassung, -speicherung, -analyse und -verwaltung für ihre HPC-Umgebung (High Performance Computing) vereinfachen. In Zusammenarbeit mit dem IBM Business Partner Sundata entwickelte die Universität eine einheitliche Datenstruktur mit IBM Spectrum Scale-Software, die bildintensive und KI-Workloads erheblich beschleunigt.
Um die Zusammenarbeit in der Forschung zu beschleunigen, auch bei komplexen, KI-gesteuerten Projekten, benötigte die UQ eine Speicherlösung, die Hunderte von Terabyte an täglich erzeugten Daten unterstützt.
Die UQ baute eine hochleistungsfähige Datenstruktur auf, die mit IBM Spectrum Scale betrieben und zentral verwaltet wird, und fügte kürzlich eine IBM Elastic Storage System (ESS)-Lösung hinzu, um ihre schnellste HPC-Umgebung zu unterstützen.
Wie können wir Ultraschalltechnologien so einsetzen, dass therapeutische Antikörper die Blut-Hirn-Schranke überwinden und die Alzheimer-Krankheit verlangsamen können? Was können wir aus den neuronalen Schaltkreisen von Fruchtfliegen über die Gestaltung von Roboterbewegungen lernen? Warum führt eine zelluläre Entzündung zu Krebs und wie können wir mehr erfahren, indem wir lebende Zellen in Nanogröße in Echtzeit abbilden? An der UQ beschäftigen sich kreative Forscher mit diesen und anderen schwierigen Fragen, die oft zu Entdeckungen führen, die die Welt und das Leben der Menschen verändern können.
Die Forschungsteams, die sich auf diese Fragen konzentrieren, verlassen sich bei ihrer Spitzenarbeit auf den schnellsten GPU-beschleunigten Computer der Universität. Dieser Supercomputer wurde speziell für bildgebungsintensive Wissenschafts- und KI-Workloads entwickelt und benötigt ebenso wie andere HPC-Systeme an der Universität eine extrem schnelle, skalierbare und flexible Datenspeicherung, die jederzeit und überall verfügbar ist.
Um einen schnelleren Weg von der Erfassung zu den Erkenntnissen zu schaffen, suchte das Research Computing Centre (RCC) an der UQ nach einer einheitlichen, leistungsstarken Speicherstrategie und Architektur, um die universitätsweite Datenerfassung sowie -analyse effektiv zu unterstützen und zu verwalten.
Das RCC wollte eine Lösung, die nicht nur das exponentielle Wachstum von Datenvolumen, -geschwindigkeit und -vielfalt bewältigen kann, sondern auch einen schnellen Datenzugriff ermöglicht. Forscher an der Universität generieren strukturierte und unstrukturierte Daten mit einer Vielzahl von Computersystemen – von Desktops bis hin zu HPC-Clustern – und aus einer großen Bandbreite wissenschaftlicher Instrumente wie MRT-Scannern, optischen Mikroskopen und DNA-Sequenzern, erklärt Professor David Abramson, Director beim RCC. „Unser Paradigma in Bezug auf Daten besteht darin, eine logische Kopie davon zu behalten und sie dann auf viele verschiedene Arten darzustellen, um die Daten dann verfügbar zu machen, wenn ein Forscher sie braucht, wo er sie braucht“, sagt er. Bei der Evaluierung potenzieller Lösungen suchte das RCC auch nach Technologien, die sich entsprechend den Bedürfnissen der Universität weit in die Zukunft hinein entwickeln können.
Das RCC baute eine hochleistungsfähige Datenspeicherstruktur mit der Bezeichnung MeDiCI (Metropolitan Data Caching Infrastructure) auf, die mit IBM Spectrum Scale betrieben und zentral verwaltet wird. „Damit Forscher Innovationen vorantreiben können, müssen sie in der Lage sein, qualitativ hochwertige Forschung zeitnah, skalierbar und grenzüberschreitend durchzuführen, indem sie modernste Forschungsinfrastrukturen nutzen. Unsere Partnerschaft mit IBM trägt dazu bei, diese Anforderungen zu erfüllen“, erklärt Jake Carroll, Chief Technology Officer, Research Computing Center an der UQ. „Mit MeDiCI können Forscher und Studierende an der gesamten Universität und an anderen internationalen Instituten nahtlos mit Daten arbeiten, die in jedem Rechencluster der UQ gespeichert sind, und zusammenarbeiten.“
„Wenn Forscher sich an die Arbeit machen, sehen sie alle ihre Daten. Sie wissen nicht, dass die Daten von einem entfernten Rechenzentrum aus mit rasender Geschwindigkeit über Glasfaserkabel übertragen werden“, sagt Abramson.
Darüber hinaus unterstützt das MeDiCI-Ökosystem eine Vielzahl von Plattformen, Instrumenten und Daten. „Die IBM Spectrum Scale-Software ermöglicht es uns, all unsere verschiedenen Silos von Speicherquellen in einer integrierten, intelligenten Speicherinfrastruktur zu vereinen und die Daten dann in dem jeweils geeigneten Protokoll wiederzugeben, was zu schnelleren Analysen und einer größeren Ressourcennutzung führt“, so Abramson. MeDiCI erfasst auch automatisch Projekt-Metadaten, einschließlich Benutzer, Instrumente und Datenparameter.
Das RCC-Team entwickelt die MeDiCI-Infrastruktur weiter und stellt sie zuletzt als Speicherlösung für UQ HPC Wiener (Link befindet sich außerhalb von ibm.com) bereit. Ziel ist es, den Forschern angesichts des erhöhten Durchsatzes, den die Plattform bietet, die Möglichkeit zu geben, im gleichen Zeitrahmen mehr zu leisten. „Wir brauchten eine Lösung, die nicht nur eine beträchtliche Bandbreite (Gigabyte pro Sekunde), sondern auch eine sehr hohe IOPS-Anforderung erfüllen kann, um massive Datenmengen von Festplattensystemen und Flash-Speichern gleichzeitig zu verarbeiten“, erklärt Carroll.
„Wir wollten [eine Hardwareplattform mit] IBM Spectrum Scale, weil ihre Funktionalität nahezu einzigartig ist“, erklärt Carroll. „Mit der ESS-Lösung erhalten wir alle Vorteile eines parallelen Hochgeschwindigkeits-Dateisystems in einem Supercomputer mit der Transparenz der Datenverwaltung, die AFM und andere IBM Spectrum Scale-Funktionen bieten. Diese Integration fügt sich in den Arbeitsablauf unserer Benutzer ein, und bei wissenschaftlichen Ergebnissen ist der Arbeitsablauf entscheidend. Deshalb setzen wir auf Software-definierten Speicher“, fügt er hinzu.
Mit der ESS-Lösung kann die UQ riesige Datenmengen mit einem Durchsatz von bis zu 40 GB und der Fähigkeit zur Skalierung auf Exabytes an Speicherplatz unterstützen, und das hybride Cloud-Modell bietet schnellen Zugriff auf Metadaten. Mit der IBM Spectrum Scale RAID Erasure Coding-Funktion ist die Lösung darauf ausgelegt, ein hohes Maß an Speicherzuverlässigkeit, Verfügbarkeit und Leistung zu unterstützen. In Kombination mit AFM ermöglicht sie dem RCC, den Datenzugriff innerhalb spezifischer Projektabläufe zu rationalisieren und dabei eine einzige, gemeinsame Speicherarchitektur beizubehalten.
Die technischen Vertriebsteams von IBM Systems Lab Services und IBM Systems in Australien arbeiteten mit Sundata und RCC zusammen, um die ESS GH14S-Lösung schnell in einem InfiniBand-Netzwerk zu implementieren und in die End-to-End-IT-Architektur von MeDiCI zu integrieren. Die Teams arbeiteten in jeder Phase kohärent und mit Liebe zum Detail zusammen und implementierten das Array in fünf Tagen.
Das RCC hat kürzlich das IBM Storage Insights-Angebot, eine Cloud-basierte Speichermanagement- und Support-Plattform mit prädiktiven Analysen implementiert. Es bietet dem Team einen detaillierteren, zusammenhängenden Einblick in die gesamte Infrastruktur und ermöglicht eine höhere Leistung durch schnellere Problemlösung.
IBM hat vor Kurzem ein neues ESS 5000 für umfangreiche Tests und Evaluierungen an der UQ eingesetzt. Laut Abramson arbeitet IBM mit dem RCC zusammen, da das Unternehmen den Ruf hat, bestehende Technologien zu erweitern.
„Wir haben bereits bedeutende Innovationen bei der Anwendung von Spectrum Scale an der Universität gezeigt. Wir konnten uns ein Bild davon machen, wie gut es in unserer Umgebung funktioniert und wo es verbessert werden kann“, erklärt Abramson. „Ich freue mich sehr, die andere Spitzenhardware von IBM für unsere anspruchsvollsten Forschungsanforderungen testen zu können.“
Mit einer einheitlichen Datenstruktur, die IBM Spectrum Scale-Technologien wie aktives Dateimanagement (AFM) für den universitätsweiten Zugriff auf Dateien enthält, kann das RCC die Zeit der Forscher und die Ressourcen der Universität optimieren und gleichzeitig die Datenverwaltung zentralisieren sowie die IT-Kosten kontrollieren. An der UQ stehen den Forschern jetzt umfassende Rechen- und Speicherkapazitäten zur Verfügung, um die Erstellung großer Datenmengen in großem Maßstab zu unterstützen und komplexe Workloads auszuführen.
Mit der erweiterten Bandbreite und IOPS, die das ESS-Gerät bietet, können Forschungsteams, die sich auf das Wiener HPC-System verlassen, Daten mit noch nie dagewesener Geschwindigkeit verarbeiten. „Maschinelles Lernen und künstliche Intelligenz stehen im Mittelpunkt des ESS GH14S, der die Nutzung der GPUs unseres Supercomputers verbessert und es den Forschern ermöglicht, in derselben Zeit mehr zu leisten und die Zeit bis zur Entdeckung zu verkürzen“, sagt Carroll. Tatsächlich hat sich das neue Speicher-Array in nur zwei Stunden amortisiert, da die Leistungsverbesserungen den Forschern der medizinischen Bildgebung an der UQ jede Woche Hunderte von Arbeitsstunden ersparen.
Am Queensland Brain Institute (QBI) der UQ beispielsweise konnten Neurowissenschaftler, die sich mit der Alzheimer-Krankheit befassen, die für die Durchführung ihres Projekts, einer so genannten Finite-Elemente-Analyse, benötigte Zeit um etwa 74 Prozent auf 18,72 Stunden reduzieren. Mit einem tieferen Verständnis der Ultraschallwellenverteilung am menschlichen Schädel können Forscher die Technologie entwickeln, die zur Überwindung der Blut-Hirn-Schranke für die Arzneimittelabgabe erforderlich ist. „Es ist ein sehr komplexes Unterfangen und erfordert eine enorme Menge an Rechenleistung und Speicher“, erklärt Carroll.
In einem anderen Fall entwickelten QBI und andere Forscher, die neuronale Schaltkreise in Fruchtfliegen untersuchten, genetische Methoden, um einzelne Neuronentypen zu markieren und zu manipulieren. Mit Wiener können sie in kürzester Zeit Terabytes an Hochgeschwindigkeitsvideos der winzigen Insekten in Bewegung verarbeiten und präzise Bewegungen der Fühler, des Unterleibs und der Gelenke von sechs Beinen messen. Mit neuen Einblicken in die Rolle der einzelnen Neuronen können sie die Prinzipien komplexer motorischer Aufgaben wie Geh- und Flugverhalten besser verstehen.
Am Institut für Molekulare Biowissenschaften der UQ verwenden Forscher, die zelluläre Entzündungen untersuchen, Gitterlichtblattmikroskopie, um hochauflösende 4D-Bilder lebender Zellprozesse aufzunehmen. Mit Hilfe eines mathematischen Modellierungsverfahrens, der so genannten Dekonvolutionsmikroskopie, bieten die Bilder einen noch nie dagewesenen Einblick in die Krebsentstehung in Echtzeit. Die Wiener Speicherlösung trägt dazu bei, dies zu ermöglichen und unter anderem die Dekonvolutionszeit um mehr als 70 Prozent zu reduzieren. Das RCC ersparte den Forschern zusätzliche Zeit, indem es ein benutzerfreundliches Portal zur Rationalisierung von Dekonvolutionsaufgaben erstellte.
„Wir müssen die bestmögliche Infrastruktur bereitstellen, um eine Vielzahl von Forschungsvorhaben zu unterstützen. Angesichts des exponentiellen Datenwachstums müssen wir auch Skaleneffekte erzielen“, sagt Carroll. „IBM und Sundata helfen dabei, dies zu ermöglichen.“
Seit mehr als einem Jahrhundert genießt dieUniversity of Queensland (UQ) (Link befindet sich außerhalb von ibm.com) einen weltweiten Ruf als Anbieter von Wissensführerschaft für eine bessere Welt. In den prestigeträchtigsten und weithin anerkannten Rankings der Weltuniversitäten gehört die UQ regelmäßig zu den besten Universitäten der Welt. UQ hat außerdem mehr nationale Lehrpreise gewonnen als jede andere australische Universität. Dieses Engagement für eine qualitativ hochwertige Lehre befähigt unsere derzeit 53.600 Studierenden, die an den drei Standorten der UQ studieren, dazu, positive Veränderungen für die Gesellschaft herbeizuführen. Unsere Forschung hat globale Auswirkungen und wird von einer interdisziplinären Forschungsgemeinschaft von mehr als 1500 Forschern an unseren sechs Fakultäten, acht Forschungsinstituten und mehr als 100 Forschungszentren erbracht.
Rechtshinweise
© Copyright IBM Corporation 2020. IBM Corporation, IBM Systems Hardware, New Orchard Road, Armonk, NY 10504, USA.
Hergestellt in den Vereinigten Staaten von Amerika, Oktober 2020.
IBM, das IBM Logo, ibm.com, IBM Elastic Storage und IBM Spectrum sind Marken der International Business Machines Corp. und in vielen Ländern weltweit eingetragen. Weitere Produkt‐ und Servicenamen können Marken von IBM oder anderen Unternehmen sein. Eine aktuelle Liste der IBM Marken finden Sie auf der Webseite „Copyright- und Markeninformationen“ unter www.ibm.com/de-de/legal/copytrade.shtml.
Das vorliegende Dokument ist ab dem Datum der Erstveröffentlichung aktuell und kann jederzeit von IBM geändert werden. Business Partner legen ihre eigenen Preise fest. Diese können variieren. Nicht alle Angebote sind in allen Ländern verfügbar, in denen IBM tätig ist.
Die genannten Leistungsdaten und Kundenbeispiele dienen ausschließlich zur Veranschaulichung. Tatsächliche Leistungsergebnisse hängen von den jeweiligen Konfigurationen und Betriebsbedingungen ab. Es liegt in der Verantwortung der Anwender, die Nutzbarkeit anderer Produkte oder Programme neben den Produkten und Programmen von IBM zu evaluieren und verifizieren. DIE INFORMATIONEN IN DIESEM DOKUMENT WERDEN OHNE JEGLICHE AUSDRÜCKLICHE ODER STILLSCHWEIGENDE GARANTIE ZUR VERFÜGUNG GESTELLT, EINSCHLIESSLICH DER GARANTIE DER MARKTGÄNGIGKEIT, DER EIGNUNG FÜR EINEN BESTIMMTEN ZWECK UND DER GARANTIE ODER BEDINGUNG DER NICHTVERLETZUNG VON RECHTEN. Die Garantie für Produkte von IBM richtet sich nach den Geschäftsbedingungen der Vereinbarungen, unter denen sie bereitgestellt werden.
Die tatsächlich verfügbare Speicherkapazität kann sowohl für nicht komprimierte als auch für komprimierte Daten angegeben werden und kann variieren und geringer sein als angegeben.
Hinweis: Das Bild des Aufmacherraums in der Fallstudie ist ein Archivfoto.