Was ist Grid-Computing?

Beide Typen der Datenverarbeitung basieren auf einer gemeinsamen Recheninfrastruktur, jedoch konzentriert sich Grid-Computing eher auf die Lösung groß angelegter wissenschaftlicher oder technischer Probleme, während verteiltes Rechnen sich auf einfachere Aufgaben konzentriert.

Grid-Computing wird häufig mit einer Art von Computing in Verbindung gebracht, die als „große Herausforderung“ bezeichnet wird – ein Computing-Problem aus den Bereichen Wissenschaft oder Technik, das vielfältige Anwendungsmöglichkeiten bietet. Die wohl bekannteste große Herausforderung, zu deren Bewältigung Grid-Computing beigetragen hat, ist der große Hadron Collider am CERN, der leistungsstärkste Teilchenbeschleuniger der Welt.

Neben der Bewältigung großer Herausforderungen wird Grid-Computing auch für eine Vielzahl praktischerer geschäftlicher Zwecke eingesetzt, darunter Big Data Management und Hochgeschwindigkeits-Datenanalyse, Erkenntnisgewinnung, wissenschaftliche Forschung, komplexe Wetter- und Finanzsimulationen sowie Hochleistungs-Datenverarbeitung (HPC).

Cloud Computing, der bedarfsgerechte Zugriff auf Rechenressourcen über das Internet, ähnelt dem Grid Computing, unterscheidet sich jedoch in einigen wesentlichen Punkten davon. Während sowohl Cloud-Computing- als auch Grid-Computing-Infrastrukturen als verteilte Systeme betrachtet werden, basiert Cloud Computing auf einem zentral verwalteten, hochflexiblen Client-Server-Modell, auf das Benutzer leicht zugreifen können. In der Cloud greifen Unternehmen über das Internet mit Standardprotokollen auf Dienste zu und zahlen nur für die Rechenressourcen, die sie benötigen.

Grid-Computing hingegen basiert auf einer gemeinsam verwalteten Infrastruktur, in der die Ressourcen einem einzigen Unternehmen gehören und von diesem verwaltet werden. Dadurch eignet es sich optimal für Unternehmen mit konsistenten Workloads, ist jedoch schwieriger zugänglich und weniger skalierbar als Cloud Computing-Architekturen. Anstatt beispielsweise Standard-Computing-Protokolle für den Zugriff auf einen bestimmten Dienst zu verwenden, müssen Grid-Benutzer Grid-Middleware verwenden, also spezielle Anwendungen für Grid-Computing-Architekturen.

Eine Grid-Computing-Umgebung besteht aus verschiedenen Knoten, bei denen es sich um Computer, Geräte und Ressourcen handelt, die für die Ausführung einer bestimmten Aufgabe programmiert sind. Dieser Aspekt des Grid-Computing macht es vielfältiger als Cluster-Computing, eine andere Art des Computings, bei der Rechenressourcen über ein Netzwerk gemeinsam genutzt werden.  Während Computercluster über feste Hardware und Aufgaben verfügen, bietet Grid-Computing eine wesentlich flexiblere Umgebung für die gemeinsame Nutzung von Ressourcen.

In der Regel besteht ein Grid-Computing-Netzwerk aus zwei Arten von Komponenten: Knoten und Middleware.

Grid-Computing-Architekturen sind auf drei Typen von Grid-Knoten angewiesen, um eine Grid-Computing-Aufgabe auszuführen:

• Benutzerknoten: Der Benutzerknoten ist ein Computer, der eine Anfrage für eine bestimmte Ressource an das Grid-Computing-System sendet.

• Anbieterknoten: Der Anbieterknoten ist der Computer, der die Ressource freigibt. Häufig wechseln Benutzer- und Anbieterknoten ihre Rollen, indem sie eine Ressource von einem Knoten anfordern und eine Ressource mit einem anderen Knoten teilen.

• Kontrollknoten: Kontrollknoten verwalten das Netzwerk und verteilen die verschiedenen Rechenressourcen im Grid. Middleware, eine für alle Grid-Computing-Netzwerke unverzichtbare Anwendung, wird auf dem Kontrollknoten ausgeführt.

In einer Grid-Computing-Infrastruktur wird Middleware als Grid-Middleware bezeichnet und fungiert als Software-Schicht, die es den verschiedenen Knoten ermöglicht, zu kommunizieren und Ressourcen auszutauschen. Grid-Middleware ist für die Koordination der von den Benutzerknoten gestellten Anfragen mit den verfügbaren Ressourcen der Anbieter-Knoten verantwortlich.

Grid-Middleware ist hochspezialisiert und in der Lage, Anfragen für eine Vielzahl von Rechenressourcen wie Rechenleistung (CPU), Arbeitsspeicher und Speicher zu verarbeiten. Sie ist für die Funktionalität der Grid-Infrastruktur von entscheidender Bedeutung, da sie Ressourcen ausgleicht, um Missbrauch zu verhindern und sicherzustellen, dass das Grid-Computing-System sicher und effizient läuft.

Eine typische Grid-Computing-Architektur besteht aus vier Schichten, die sich aus Anwendungen, Middleware, Ressourcen und einer unteren Schicht zusammensetzen, die es jedem Knoten ermöglicht, sich mit einem Netzwerk zu verbinden:

• Schicht 1: Die erste Schicht, die in einem Standard-Grid-Computing-Modell auch als „oberste Schicht“ bezeichnet wird, besteht aus hochentwickelten Anwendungen mit einem bestimmten Zweck, beispielsweise einer Anwendung zur Datenanalyse oder Modellierung.

• Schicht 2: Die zweite Schicht einer Grid-Computing-Architektur ist der Ort, an dem sich die Middleware befindet, die die Anfragen von Benutzerknoten verwaltet und bei Bedarf Ressourcen von Anbieterknoten zuweist.

• Schicht 3: Die dritte Schicht eines Grid-Computing-Netzwerks besteht aus allen verfügbaren Ressourcen im Netzwerk, wie CPU, Arbeitsspeicher, Speicher, Hardware, Software und mehr.

• Schicht 4: Die letzte Schicht, auch als „Bottom“- oder „Fabric“-Schicht bezeichnet, ermöglicht die Verbindung aller Knoten im Gird-Computing-Netzwerk. Schicht 4 besteht aus physischen und logischen Ressourcen, darunter Supercomputer, Speichersysteme, verteilte Dateisysteme (DFS) und Computercluster.

Grid-Computing wird in der Regel anhand seines Zwecks in fünf grundlegende Typen unterteilt.

Computational Grids sind die gängigste Art von Grid-Computing-Infrastruktur und werden für eine Vielzahl von Hochleistungs-Datenverarbeitung (HPC) bereitgestellt. Computational Grid Computing ist sehr ressourcenintensiv und kombiniert die Rechenleistung mehrerer Hochleistungscomputer, um komplexe Simulationen durchzuführen und groß angelegte mathematische Probleme und Algorithmen zu lösen.

Ein Computational Grid kann eine komplexe Aufgabe in kleinere, einfachere Teilaufgaben unterteilen und jede einzelne einem Knoten zuweisen. Dieser als parallele Datenverarbeitung oder parallele Programmierung bekannte Prozess reduziert den Zeit- und Kostenaufwand für die Lösung komplexer, ressourcenintensiver Probleme, die für Spitzentechnologien wie künstliche Intelligenz (KI), maschinelles Lernen (ML) und Blockchain von entscheidender Bedeutung sind, erheblich. Aufgrund ihrer Geschwindigkeit eignet sich die parallele Datenverarbeitung ideal für fortschrittliche Technologien, die eine Echtzeitverarbeitung erfordern, wie selbstfahrende Autos, Wettermodellierung und Anwendungen im Bereich des Internet der Dinge (IoT).

Ein Scavenging-Grid, auch bekannt als CPU-Scavenging-Grid oder Scavenging-Zyklus, hat ein ähnliches Layout und einen ähnlichen Zweck wie ein Computational-Grid, jedoch mit einem wesentlichen Unterschied. In einem Scavenging-Grid stellen Knoten und Computer lediglich ihre verfügbaren Ressourcen für das größere Grid zur Verfügung. Der Begriff Scavenging bezieht sich in diesem Zusammenhang auf den Prozess der Suche nach verfügbaren Ressourcen in einem Grid aus verbundenen Rechenressourcen.

In einem Scavenging-Grid führen einige Knoten Aufgaben aus, die mit dem übergeordneten Zweck des Netzwerks in Zusammenhang stehen, während andere für andere, nicht damit verbundene Zwecke genutzt werden. Sollten Netzwerkbenutzer für nicht netzwerkbezogene Zwecke auf Computer zugreifen müssen, identifiziert die Netzwerksoftware einfach die freien Knoten und verfügbaren Rechenressourcen und weist sie zu.

Daten-Grids sind umfangreiche Grid-Computing-Netzwerke, die Computer miteinander verbinden, um den Datenspeicher zu erhöhen. Beim Data Grid Computing wird ein großer Datenbestand aufgeteilt, sodass er auf mehreren Computern gespeichert werden kann, die über ein Netzwerk miteinander verbunden sind. Computer in einem Datennetzwerk tauschen in der Regel Daten und Ressourcen über einen großen geografischen Bereich hinweg aus und verbinden so Benutzer an entfernten Standorten miteinander.

Daten-Grids eignen sich ideal für Rechenaufgaben, die in kleinere Teilaufgaben unterteilt und parallel gelöst werden können. Sie werden häufig in Microservice-Technologien und als Grundlage für Private Clouds eingesetzt, in denen Geräte zusammengefasst und ein Teil ihrer Ressourcen für einen bestimmten Zweck zugewiesen werden. Darüber hinaus sind virtuelle Maschinen (VMs) häufig in einem Datengitter enthalten, was eine effizientere Ressourcenbündelung für gängige Rechenaufgaben wie Datenverarbeitung und -speicherung ermöglicht.

Kollaborative Grids oder kollaborative Grid-Computing-Frameworks ermöglichen es Gruppen von Personen, ein Computational Grid zu nutzen, um einfacher auf gemeinsame Arbeiten und Ressourcen zuzugreifen.

Kollaborative Grids ermöglichen es weit verstreuten Teams, Fachwissen auszutauschen und in Echtzeit an der Verfolgung eines gemeinsamen Ziels mitzuarbeiten. Beispielsweise ermöglichen kollaborative Grids die Zusammenarbeit zahlreicher Klimawissenschaftler und Physiker, die sich mit der Lösung von Problemen befassen, indem sie gemeinsam auf Daten und Rechenressourcen verschiedener Universitäten und Institutionen auf der ganzen Welt zugreifen.

Modulare Grids konzentrieren sich darauf, die Rechenressourcen innerhalb eines bestimmten Systems in separate Module zu unterteilen, um die Anwendungsleistung zu steigern. In einem modularen Grid werden gemeinsam genutzte Ressourcen wie GPUs, Speicher und Arbeitsspeicher aufgeteilt und neu kombiniert, um die Effizienz beim Ausführen bestimmter Anwendungen und Dienste zu steigern.

Der modulare Ansatz ermöglicht es IT-Teams, flexibler bei der Anpassung einer Rechenumgebung an ihre Bedürfnisse zu sein. In einem modularen Netz kann die Konfiguration beispielsweise auf die spezifischen Ressourcenanforderungen einer einzelnen Anwendung oder eines einzelnen Dienstes zugeschnitten werden.

Grid-Computing ermöglicht es Unternehmen, große Datenmengen schneller und effizienter zu verarbeiten als in einer herkömmlichen Umgebung. Unternehmen, die Grid-Computing nutzen, haben durch die Nutzung von Ressourcen für eine Vielzahl von Geschäftszwecken mehr Flexibilität, Skalierbarkeit und Kosteneffizienz erreicht. Hier sind einige der häufigsten Vorteile aufgeführt, die Unternehmen durch Grid-Computing erzielt haben.

Grid-Computing wird von großen Unternehmen in einer Vielzahl von Branchen eingesetzt. Universitäten haben Grids bereitgestellt, um umfangreiche, komplexe Probleme zu lösen, die den Einsatz von Supercomputern und die Zusammenarbeit mit Kollegen auf der ganzen Welt erfordern. Leistungsstarke virtuelle Supercomputer, die auf einem Grid-Computing-Framework basieren, haben komplexe wissenschaftliche und technische Aufgaben im Zusammenhang mit dem Klimawandel, der Astrophysik und anderen Bereichen bewältigt. Nachfolgend sind einige der häufigsten Anwendungsfälle für Grid-Computing aufgeführt.

• Bankwesen: Banken nutzen Grid-Computing für eine Vielzahl von Sicherheits- und Risikomanagementzwecken. Durch die Nutzung der kombinierten Rechenressourcen eines groß angelegten Grids können Finanzinstitute Veränderungen am Aktienmarkt prognostizieren und Trends aufdecken, um intelligentere Finanzentscheidungen für ihre Kunden zu treffen. Laut dem Institute of Business Value gaben 78 % der Banken an, dass sie im letzten Jahr einen taktischen Ansatz für generative KI verfolgt haben.

• Biowissenschaften: Biowissenschaften wie Biologie, Genomik und Neurowissenschaften nutzen zunehmend Grid-Computing, um große Datenmengen nach Erkenntnissen zu durchsuchen und genauere Simulationen zu erstellen. Bei der Erforschung menschlicher Gene hat Grid-Computing beispielsweise dazu beigetragen, durch DNA-Sequenzierung generierte Datensätze zu verarbeiten und zu analysieren und Mutationen zu identifizieren.

• Edge Computing und Internet der Dinge (IoT)-Anwendungen: Edge Computing, ein verteiltes Datenverarbeitungsframework, das insbesondere für hochmoderne KI- und IoT-Anwendungen relevant ist, nutzt Grid Computing, um Daten an ihrer Quelle zu verarbeiten und zu analysieren. Laut einem aktuellen Bericht von Straits Research ist Edge Computing für die prognostizierte starke durchschnittliche jährliche Wachstumsrate (CAGR) von 17,1 % im Bereich Grid Computing in den nächsten sechs Jahren von entscheidender Bedeutung.¹

• Filmproduktion: Viele der fortschrittlichen Spezialeffekte, die wir heute in Filmen sehen, nutzen eine Art Grid-Computing-Framework, um die Verarbeitung zu beschleunigen. Spezialeffekt-Designer verlassen sich auf Grid-Dienste, um die Produktionszeiten zu verkürzen und die Fristen beim Rendern komplexer Bilder einzuhalten.

• Gaming: Videospielentwickler nutzen Grid-Computing, um zusätzliche Rechenressourcen für die Erstellung der visuell beeindruckenden Welten zu erhalten, in denen die Spieler sich bewegen werden. Grid-Computing-Systeme teilen große Rechenaufgaben auf und weisen sie Knoten in einem verbundenen Computernetzwerk zu, wodurch die Produktionszeiten verkürzt werden.