Das RCC baute eine hochleistungsfähige Datenspeicherstruktur mit der Bezeichnung MeDiCI (Metropolitan Data Caching Infrastructure) auf, die mit IBM Storage Scale betrieben und zentral verwaltet wird. „Damit Forscher Innovationen vorantreiben können, müssen sie in der Lage sein, qualitativ hochwertige Forschung zeitnah, skalierbar und grenzüberschreitend durchzuführen, indem sie modernste Forschungsinfrastrukturen nutzen. Unsere Partnerschaft mit IBM trägt dazu bei, diese Anforderungen zu erfüllen“, erklärt Jake Carroll, Chief Technology Officer, Research Computing Center an der UQ. „Mit MeDiCI können Forscher und Studierende an der gesamten Universität und an anderen internationalen Instituten nahtlos mit Daten arbeiten, die in jedem Rechencluster der UQ gespeichert sind, und zusammenarbeiten.“
„Wenn Forscher sich an die Arbeit machen, sehen sie alle ihre Daten. Sie wissen nicht, dass die Daten von einem entfernten Rechenzentrum aus mit rasender Geschwindigkeit über Glasfaserkabel übertragen werden“, sagt Abramson.
Darüber hinaus unterstützt das MeDiCI-Ökosystem eine Vielzahl von Plattformen, Instrumenten und Daten. „Die IBM Storage Scale-Software ermöglicht es uns, all unsere verschiedenen Silos von Speicherquellen in einer integrierten, intelligenten Speicherinfrastruktur zu vereinen und die Daten dann in dem jeweils geeigneten Protokoll wiederzugeben, was zu schnelleren Analysen und einer größeren Ressourcennutzung führt“, so Abramson. MeDiCI erfasst auch automatisch Projekt-Metadaten, einschließlich Benutzer, Instrumente und Datenparameter.
Das RCC-Team entwickelt die MeDiCI-Infrastruktur weiter und stellt sie zuletzt als Speicherlösung für UQ HPC Wiener (Link befindet sich außerhalb von ibm.com) bereit. Ziel ist es, den Forschern angesichts des erhöhten Durchsatzes, den die Plattform bietet, die Möglichkeit zu geben, im gleichen Zeitrahmen mehr zu leisten. „Wir brauchten eine Lösung, die nicht nur eine beträchtliche Bandbreite (Gigabyte pro Sekunde), sondern auch eine sehr hohe IOPS-Anforderung erfüllen kann, um massive Datenmengen von Festplattensystemen und Flash-Speichern gleichzeitig zu verarbeiten“, erklärt Carroll.
„Wir wollten [eine Hardwareplattform mit] IBM Storage Scale, weil ihre Funktionalität nahezu einzigartig ist“, erklärt Carroll. „Mit der IBM Storage Scale System-Lösung erhalten wir alle Vorteile eines parallelen Hochgeschwindigkeits-Dateisystems in einem Supercomputer mit der Transparenz der Datenverwaltung, die AFM und andere IBM Storage Scale-Funktionen bieten. Diese Integration passt in den Arbeitsablauf unserer Benutzer, und bei wissenschaftlichen Ergebnissen ist der Arbeitsablauf entscheidend. Deshalb setzen wir auf softwaredefinierten Speicher“, fügt er hinzu.
Mit der Lösung IBM Storage Scale System kann die UQ riesige Datenmengen mit einem Durchsatz von bis zu 40 GB und der Fähigkeit zur Skalierung auf Exabytes an Speicherplatz unterstützen, und das hybride Cloud-Modell bietet schnellen Zugriff auf Metadaten. Mit der IBM Storage Scale RAID Erasure Coding-Funktion ist die Lösung darauf ausgelegt, ein hohes Maß an Speicherzuverlässigkeit, Verfügbarkeit und Leistung zu unterstützen. In Kombination mit AFM ermöglicht sie dem RCC, den Datenzugriff innerhalb spezifischer Projektabläufe zu rationalisieren und dabei eine einzige, gemeinsame Speicherarchitektur beizubehalten.
Dietechnischen Vertriebsteams von IBM Systems Lab Services und IBM Systems in Australien arbeiteten mit Sundata und RCC zusammen, um die IBM Storage Scale System GH14S-Lösung schnell in einem InfiniBand-Netzwerk zu implementieren und in die End-to-End-IT-Architektur von MeDiCI zu integrieren. Die Teams arbeiteten in jeder Phase kohärent und mit Liebe zum Detail zusammen und implementierten das Array in fünf Tagen.
Das RCC hat kürzlich das IBM Storage Insights-Angebot, eine Cloud-basierte Speichermanagement- und Support-Plattform mit prädiktiven Analysen implementiert. Es bietet dem Team einen detaillierteren, zusammenhängenden Einblick in die gesamte Infrastruktur und ermöglicht eine höhere Leistung durch schnellere Problemlösung.
IBM hat vor Kurzem ein neues IBM Storage Scale System 5000 für umfangreiche Tests und Bewertungen an der UQ eingesetzt. Laut Abramson arbeitet IBM mit dem RCC zusammen, da das Unternehmen den Ruf hat, bestehende Technologien zu erweitern.
„Wir haben bereits bedeutende Innovationen bei der Anwendung von Storage Scale an der Universität gezeigt. Wir konnten uns ein Bild davon machen, wie gut es in unserer Umgebung funktioniert und wo es verbessert werden kann“, erklärt Abramson. „Ich freue mich sehr, die andere Spitzenhardware von IBM für unsere anspruchsvollsten Forschungsanforderungen testen zu können.“