Was ist Cluster-Computing

Computing-Cluster bestehen in der Regel aus Servern, Workstations und PCs (Personal Computers), die über ein lokales Netzwerk (LAN) oder ein Wide Area Network (WAN) kommunizieren.

Cluster ist eine Art verteiltes Rechnen, eine Art von Datenverarbeitung, die Computer in einem Netzwerk miteinander verbindet, um eine Rechenaufgabe auszuführen, die Rechenleistung zu erhöhen und als einzelner Computer zu funktionieren. Jeder Computer oder „Knoten“ in einem Computernetzwerk hat ein Betriebssystem (OS) und einen CPU-Kern (Central Processing Unit), der die Aufgaben erledigt, die für den ordnungsgemäßen Betrieb der Software erforderlich sind.

Aufgrund seiner hohen Leistung und Hochverfügbarkeit hat Cluster-Computing viele Anwendungen, darunter Cloud Computing, künstliche Intelligenz (KI), Forschung und Big Data-Analyse.

Im grundlegendsten Sinne nutzt Cluster-Computing ein LAN, um mehrere unabhängige Computer in einem Netzwerk zu verbinden. In der Architektur des Clusters wird jeder Computer im Netzwerk als „Knoten“ bezeichnet und von Middleware gesteuert, einer Software, die die Kommunikation zwischen den einzelnen Computern ermöglicht. Benutzer des Clusters können die Ressourcen jedes Computers so nutzen, als wären sie ein einzelner Computer, anstatt einzelne Computer, die über ein LAN verbunden sind.

Ein Computing-Cluster kann nur zwei Knoten oder bis zu Tausende von Knoten umfassen. Zum Beispiel verwendet ein Beowulf-Cluster in der Regel handelsübliche PCs, die über ein LAN verbunden sind, und kann für bestimmte Aufgaben eine relativ erschwingliche Alternative zu einem Supercomputer sein.¹

Kubernetes hingegen - eine mit Containern verwandte, mit Clustern verbundene Technologie, die für das Cloud Computing unerlässlich ist - unterstützt Cluster mit bis zu 5.000 separaten, aber miteinander verbundenen Knoten. Kubernetes wird in vielen Arten von Cloud-Bereitstellungen eingesetzt, einschließlich Hybrid Cloud - und Multicloud -Architekturen, sowie DevOps und Modernisierung.

Cluster-Computing-Architekturen bestehen aus einer Gruppe miteinander verbundener, individueller Computer, die als eine einzige Maschine zusammenarbeiten. Jede Rechenressource ist über eine Hochgeschwindigkeitsverbindung (z. B. ein LAN) verbunden und wird in der Architektur des Systems als einzelner Knoten bezeichnet. Jeder Knoten verfügt über ein Betriebssystem, einen Arbeitsspeicher sowie Eingabe- und Ausgabefunktionen (I/O).

Es gibt zwei Arten von Cluster-Architekturen, offen oder geschlossen. In einem offenen Cluster verfügt jeder Computer über eine eigene IP-Adresse. In einem geschlossenen Cluster ist jeder Knoten hinter einem Gatewayknoten verborgen. Da der Gateway-Knoten den Zugriff auf die anderen Knoten kontrolliert und IP-Adressen im Internet gefunden werden können, stellen geschlossene Cluster ein geringeres Sicherheitsrisiko dar als offene Cluster.

Neben dem Cluster-Computing gibt es zwei weitere häufig verwendete Arten des verteilten Computings, die ebenfalls über verbundene Computernetzwerke verfügen: Grid-Computing und Peer-to-Peer-Computing.

Grid-Computing: In der Informatik wird eine Grid-Computing-Infrastruktur eingerichtet, um Rechenressourcen zu kombinieren, die sich an verschiedenen physischen Standorten befinden. Die verfügbaren Rechenressourcen der verschiedenen Maschinen werden kombiniert und gemeinsam genutzt, um ein Problem zu lösen. Wie das Cluster nutzt auch das Grid-Computing die Ressourcen mehrerer miteinander verbundener Computer.

Im Gegensatz zum Clustering werden jedoch nur die ungenutzten Ressourcen auf den über die Grid-Architektur verbundenen Computern genutzt. SETI, die Suche nach außerirdischer Intelligenz, war ein berühmtes Beispiel für Grid-Computing, bei dem die ungenutzten Rechenressourcen vieler Computer verwendet wurden, um Funksignale aus dem Weltraum auf Anzeichen von außerirdischem Leben zu analysieren.²

Peer-to-Peer-Computing: Beim Peer-to-Peer-Computing (P2P ) sind zwei oder mehr Computer als „Peers“ in einem Netzwerk verbunden, d. h. sie haben die gleiche Leistung und die gleichen Berechtigungen. Im Gegensatz zu Cluster-Computing erfordert eine P2P-Architektur keinen zentralisierten Verwaltungsansatz.

In einem P2P-Netzwerk fungiert jeder Knoten sowohl als Clientcomputer (ein Computer, der Zugriff auf einen Dienst benötigt) als auch als Server (ein Computer, der einen Dienst bereitstellt). Jeder Knoten stellt Ressourcen für andere im Netzwerk zur Verfügung, einschließlich Speicher, Arbeitsspeicher, Bandbreite und mehr.

Cluster Computing wurde in den 1960er Jahren als Methode zur Verteilung von Rechenaufgaben und Datenspeicherung auf mehrere Computer erfunden. In den 1980er Jahren hatten Entwicklungen in mehreren angrenzenden Technologien – darunter PCs, vielseitige Prozessoren und LANs – erhebliche Auswirkungen auf das Cluster-Computing.

Der vielleicht größte war der Einsatz von Mehrprozessor-Rechenknoten im Hochleistungsrechnen (HPC). Mit dem Anstieg der Anwendungsfälle für HPC wuchsen auch die Anwendungsfälle für Cluster Computing. Heute gehören zu diesen Anwendungen unter anderem die Automobil- und Luftfahrtindustrie, die Datenanalyse von Satelliten und Teleskopen sowie die Diagnose gefährlicher Krankheiten.

Heute wird Cluster-Computing in vielen der fortschrittlichsten Technologien eingesetzt, die unsere Welt voranbringen, wie künstliche Intelligenz (KI), maschinelles Lernen (ML) und Cloud Computing. Die größten Unternehmen der Welt nutzen Cluster-Computing, um Workloads in die Cloud zu verschieben, die Verarbeitungsgeschwindigkeit zu erhöhen, die Datenintegrität zu verbessern und vieles mehr. Auf Unternehmensebene erhalten Computercluster häufig eine bestimmte Aufgabe, z. B. Lastausgleich, Hochverfügbarkeit oder die umfangreiche Verarbeitung von Daten in einem Rechenzentrum.

Rechencluster sind in erster Linie so konzipiert, dass sie leistungsfähiger und zuverlässiger sind als andere Arten von Rechenarchitekturen, was sie für moderne Unternehmen unverzichtbar macht. Moderne Cluster haben zum Beispiel eine eingebaute Fehlertoleranz, ein Begriff, der sich auf ihre Fähigkeit bezieht, auch dann weiter zu funktionieren, wenn ein einzelner Knoten in einem Netzwerk ausfällt.

Darüber hinaus verlassen sich große Computercluster auf verteilte Dateisysteme (Distributed File Systems, DFS) und ein redundantes Array unabhängiger Festplatten (RAID), die es ermöglichen, dieselben Daten an verschiedenen Orten auf mehreren Festplattenlaufwerken zu speichern. Cluster-Computing kommt dem modernen Unternehmen in vielerlei Hinsicht zugute. Hier sind einige Beispiele: 

Aufgrund ihrer Abhängigkeit von Parallelität gelten Computer-Cluster als leistungsstark und können Daten in der Regel schneller verarbeiten und größere Workloads als ein einzelner Computer bewältigen.

Cluster-Computing gilt aufgrund der Integration von DFS- und RAID-Technologien als sehr zuverlässig. Selbst wenn ein einzelner Knoten in einem Computer-Cluster ausfällt, funktioniert das Netzwerk weiter und DFS und RAID sorgen weiterhin dafür, dass die Daten an mehreren Orten gesichert werden. 

Cluster-Computing ist nicht nur sehr zuverlässig, sondern gilt auch als hoch verfügbar, da es sich nach dem Ausfall eines einzelnen Knotens schnell erholt. Wenn ein Cluster ordnungsgemäß funktioniert und ein Knoten ausfällt, wird seine Arbeit nahtlos auf einen anderen im Cluster übertragen, ohne dass es zu einer Betriebsunterbrechung kommt.

Cluster-Computing ist hochgradig skalierbar, da Clusterknoten jederzeit hinzugefügt werden können, um die Leistung zu erhöhen. Die Möglichkeit, Ressourcen innerhalb eines Clusters dynamisch anzupassen, bedeutet, dass der Cluster je nach Bedarf nach oben oder unten skaliert werden kann. 

Cluster-Computing ist kostengünstiger als andere Arten von Computing. Viele moderne Unternehmen setzen auf Cluster-Computing, um die Leistung, Skalierbarkeit und Verfügbarkeit ihrer IT-Infrastruktur zu einem erschwinglichen Preis zu verbessern.

Rechencluster unterscheiden sich stark in ihrer Komplexität und ihrem Zweck. Relativ einfache Cluster mit zwei Knoten verbinden beispielsweise nur ein paar Computer, während der Aurora-Supercomputer über 10.000 verbindet^.3

Cluster haben aufgrund ihrer hohen Leistung, Skalierbarkeit und Flexibilität viele geschäftliche Anwendungsfälle, werden aber auch von Universitäten und medizinischen Fakultäten für die wissenschaftliche Forschung genutzt. Basierend auf ihren Merkmalen werden Compute-Cluster in drei verschiedene Typen unterteilt: Hochverfügbarkeit, Lastausgleich und hohe Leistung. 

Hochverfügbare Cluster übertragen automatisch Aufgaben von einem Knoten, der unerwartet ausgefallen ist, auf einen anderen Knoten im Netzwerk, der noch funktioniert. Diese Fähigkeit, sich schnell und einfach anzupassen, wenn ein Knoten ausfällt, macht sie ideal für Workloads, bei denen die Vermeidung von Serviceunterbrechungen kritisch ist.

Lastausgleichs-Cluster oder einfach Lastausgleichsfunktionen sorgen dafür, dass die Arbeit gleichmäßig auf die Knoten in einem Cluster verteilt wird. Ohne Lastausgleich würden die Knoten von den ihnen zugewiesenen Aufgaben überwältigt werden und häufiger fehlschlagen. Es gibt verschiedene Arten des Lastausgleichs für unterschiedliche Zwecke. Einer der bekanntesten, der Linux Virtual Server, ist kostenlos und Open Source und wird verwendet, um hochverfügbare, leistungsstarke Server zu entwickeln, die auf Cluster-Technologie basieren.

HPC-Cluster sind ein Netzwerk leistungsstarker Prozessoren, die riesige multidimensionale Datensätze, auch bekannt als Big Data, mit extrem hoher Geschwindigkeit verarbeiten können. Sie benötigen leistungsstarke Netzwerke und ultraniedrige Latenz, um Dateien zwischen Knoten zu verschieben.

Im Gegensatz zu Lastausgleichs- und Hochverfügbarkeits-Clustern verfügen HPC Cluster über mehr Rechenleistung und sind speziell für die Datenanalyse konzipiert, z. B. für die Diagnose von Krankheiten, die Analyse großer Mengen von Finanzdaten und die Sequenzierung von Genomen. HPC-Cluster verwenden außerdem Message Passing Interface (MPI), ein Protokoll für parallele Rechnerarchitekturen, das die Kommunikation zwischen den Knoten ermöglicht.

KI-Cluster sind Cluster, die speziell für KI- und ML-Workloads entwickelt wurden, wie z. B. Gesichts- und Spracherkennung, Verarbeitung natürlicher Sprache (NLP) und autonomes Fahren. KI-Cluster sind speziell für die Algorithmen konzipiert, auf denen KI-Modelle trainieren.

Computercluster haben ein breites Anwendungsspektrum. Von Anwendungen wie Cloud Computing und Analyse bis hin zu Software, die dabei hilft, atemberaubende 3D-Spezialeffekte für Filme zu erstellen - hier sind einige Beispiele: