Hohe Verfügbarkeit für „ Execution Engine for Apache Hadoop “

Sie können einen sekundären Knoten nutzen, wenn ein aktiver Knoten ausfällt, indem Sie die Hochverfügbarkeit aktivieren.

Um Hochverfügbarkeit zu gewährleisten, müssen Sie bei der Registrierung eines Remote-Clusters zwei Knoten des Systems hinzufügen. Nachdem die Hochverfügbarkeit aktiviert wurde und ein aktiver Edge-Knoten ausfällt, führen Sie die folgenden Schritte aus, um die Hochverfügbarkeit zu aktivieren:

Datenzugriff über WebHDFS: Tools zum Durchsuchen und Anzeigen von Daten, die auf WebHDFS zugreifen, werden mit dem nächsten verfügbaren Edge-Knoten verbunden.
Interaktive Notizbücher: Alle aktiven „ Livy “-Sitzungen, die auf dem ausgefallenen Knoten laufen, müssen neu gestartet und erneut ausgeführt werden.
Data Refinery : Alle laufenden Aufträge müssen erneut eingereicht werden. Alle neu gestarteten Jobs werden an den aktiven Edge-Knoten gesendet.
Remote-Jobs: Alle Jobs, die in dieser Remote-Umgebung ausgeführt werden, müssen erneut eingereicht werden. Alle neu gestarteten Jobs werden an den aktiven Edge-Knoten gesendet.

Lastenausgleich mit mehreren Edge-Knoten von „ Execution Engine for Apache Hadoop “

WebHDFS-Übertragungen werden nach dem Umlaufprinzip zugeordnet, wobei der Netzverkehr zwischen Watson Studio und den Hadoop-Edge-Knoten ausgeglichen wird.
Livy-Sitzungen werden Sticky Sessions nach einem Aktiv/Passiv-Ansatz zugeordnet. Alle Livy-Sitzungen werden auf demselben Execution Engine-Edge-Knoten ausgeführt, bis ein Fehler festgestellt wird. Ab diesem Punkt werden alle neuen Sitzungen dem nächsten verfügbaren Execution Engine-Edge-Knoten zugeordnet.
Ähnlich wie bei Livy werden JEG-Sessions mit Sticky Sessions nach einem Aktiv/Passiv-Ansatz zugeordnet. Alle JEG-Sitzungen werden auf demselben Execution Engine-Edge-Knoten ausgeführt, bis ein Fehler festgestellt wird. Ab diesem Punkt werden alle neuen Sitzungen dem nächsten verfügbaren Execution Engine-Edge-Knoten zugeordnet.