Fehlerbehebung in „ Hadoop “-Umgebungen

Verwenden Sie diese Lösungen, um Probleme zu lösen, die bei der Verwendung von Hadoop -Umgebungen auftreten können.

Execution Engine for Apache Hadoop -Services über Cloudera Manager oder Ambari erneut starten

Wenn Sie die Services von Execution Engine for Apache Hadoop über Cloudera Manager (CDH) oder Ambari (HDP) erneut starten müssen, Starten Sie alle Execution Engine for Apache Hadoop -Services erneut, indem Sie die folgenden Befehle ausführen:

  cd /opt/ibm/dsxhi/bin
  ./stop.py
  ./start.py

Projekte exportieren und importieren

Wenn Sie Projektassets exportieren, die einen Verweis auf ein Hadoop-integriertes System enthalten, und Sie das Projekt in einen anderen Cloud Pak for Data -Cluster importieren, liegt möglicherweise ein Problem vor, bei dem Notebooks, Verbindungen und Refinery-Jobs fehlschlagen.

Der Grund dafür ist, dass beim Exportieren des Projekts die global definierte Registrierung „ Hadoop “ nicht in den Export einbezogen wird, da es sich hierbei um eine globale Eigenschaft handelt.Führen Sie die folgenden Schritte aus, um sicherzustellen, dass das importierte Projekt ordnungsgemäß funktioniert.Diese Schritte sind erforderlich, da die Integrationsdaten für „ Hadoop “ nicht Teil eines Projektexports sind und global als Teil des „ Cloud Pak for Data “-Clusters definiert sind.

Dieses Szenario kann auch auftreten, wenn der Administrator einen Eintrag auf der Seite Hadoop -Integration löscht, auf die auch die Umgebung eines Benutzers verweist.Falls der Administrator denselben Eintrag erneut hinzufügt, müssen Sie dennoch die folgenden Schritte durchführen, um die Probleme zu beheben.

Probleme und Abhilfemaßnahmen

Das Problem beim Importieren und Exportieren von Projekten betrifft:

Informationen zur Lösung dieses Problems finden Sie unter Problemumgehung. Nachdem Sie die Umgehungslösung durchgeführt haben, müssen Sie möglicherweise weitere Schritte ausführen. Die folgenden Abschnitte enthalten weitere Informationen.

Umgebungen

Umgebungen zeigen nicht die gesamten Hadoop -Details an.

Notebooks

Sie können den Inhalt des Notebooks zwar weiterhin anzeigen, aber wenn Sie versuchen, es im Modus Bearbeiten zu starten, schlägt es fehl. Außerdem können Sie die aktive Laufzeitumgebung nicht löschen. Auch das Löschen der Laufzeitumgebung schlägt fehl.

Wenn die ungültige Umgebung gelöscht wird, wird auf der Seite „Assets“ durch ein Symbol angezeigt, dass die Umgebung aus dem Notebook entfernt wurde.

  1. Wählen Sie über die Schaltfläche Aktion die Option Umgebung ändernund anschließend die Umgebung aus, die kürzlich in der Ausweichlösung für Umgebungen erstellt wurde.
  2. Klicken Sie auf „Zuordnen“ und führen Sie anschließend das Notebook aus, um zu überprüfen, ob die Problemumgehung erfolgreich war.

Jobs

Ein Auftrag schlägt mit einem Failed to find remote host for id Fehler fehl.

Dies gilt für Data Refinery und Notebook-Aufträge. Wenn die ungültige Umgebung gelöscht wird, gibt die Jobbenutzerschnittstelle an, dass für den Job eine Umgebungsvorlage fehlt.

  1. Klicken Sie neben Umgebungsvorlageauf Bearbeiten und wählen Sie auf der Registerkarte Umgebungsvorlage die neue Umgebung aus. Klicken Sie dann auf Übergeben.
  2. Führen Sie den Auftrag aus.

Konnektoren

Eine verbundene Datenübertragung schlägt mit einem seltsamen Fehler fehl. Führen Sie eine der folgenden Aufgaben aus:

  • Wenn der Administrator von „ Cloud Pak for Data “ den Registrierungseintrag für die „ Hadoop “-Integration unter demselben Namen wie zuvor definiert angelegt hat, sind keine Änderungen an der Verbindung erforderlich.
  • Falls der Administrator von „ Cloud Pak for Data “ den Registrierungsnamen für die „ Hadoop “-Integration geändert hat, müssen Sie zur Verbindung navigieren, die Seite „Verbindung bearbeiten “ aufrufen und die URLs HDFS / Hive entsprechend dem umbenannten Registrierungseintrag aktualisieren.

Behelfslösung

Wenden Sie die folgende Abhilfe an, um die jeweiligen Probleme bei Umgebungen, Notebooks, Aufträgen und Konnektoren zu beheben:

  1. Der Administrator von „ Cloud Pak for Data “ muss dasselbe System auf der Seite „ Hadoop -Integration“ registrieren. Es wird empfohlen, für diese Registrierung denselben Namen zu verwenden.
  2. Benutzer müssen eine neue Umgebungsvorlage erstellen, die auf den neuen Registrierungseintrag Hadoop verweist.
  3. Die Benutzer müssen die ungültige Umgebung löschen.
  4. Die Benutzer müssen ihren Job oder ihr Notebook aktualisieren, damit die neue Umgebung berücksichtigt wird.

Fehler beim Importieren von 'dist-keras' in einer fernen Execution Engine for Apache Hadoop -Sitzung

Das Paket 'dist-keras' wird auf Python 3.7 auf Power PC Hadoop -Clustern nicht unterstützt.

Wichtig: Ab Cloud Pak for Data Version 4.0wird die Bibliothek 'dist-keras' nicht mehr unterstützt.

Wenn Sie das Jupyter-Image „ Python “ ( 3.7 ) über die Plattformkonfigurationen auf ein bei Execution Engine for Apache Hadoop registriertes System übertragen, schlägt die Installation von „dist-keras“ in diesem Image auf Power-Rechnern fehl. Dadurch wird in den Bild-Push-Protokollen eine Warnung wie die folgende ausgegeben:

Attempting to install HI addon libs to active environment ...
  ==> Target env: /opt/conda/envs/Python-3.7-main ...
  ====> Installing conda packages ...
  ====> Installing pip packages ...
  ==> WARNING: HI addons could not be installed:

  ----------------------------------------------
Collecting package metadata: ...working... done
Solving environment: ...working... done
.
.
.
    File "/opt/conda/envs/Python-3.7-main/lib/python3.7/site-packages/typing.py", line 1003, in __new__
      self._abc_registry = extra._abc_registry
  AttributeError: type object 'Callable' has no attribute '_abc_registry'
.
.
.
  ----------------------------------------------

      A Hadoop admin may need to manually install some libraries
      into the remote image after it is pushed ...

Während die Image-Push-Operation fortgesetzt und schließlich erfolgreich sein sollte, schlagen Versuche, distkeras in eine ferne Execution Engine for Apache Hadoop -Sitzung (Livy oder JEG) zu importieren, mit einem Fehler wie No module named 'distkeras'fehl.

Neben der fehlenden Unterstützung für dist-keraskann das mit Push-Operation übertragene Python 3.7 -Image für Power in fernen Execution Engine for Apache Hadoop -Sitzungen wie jedes andere mit Push-Operation übertragene Image verwendet werden.

Hadoop einrichten, wenn ein Remote-System neu installiert wird

In diesem Szenario müssen Sie das RPM-Paket „Execution Engine Apache Hadoop (dsxhi)“ auf Ihrem „ Hadoop “-System neu installieren. Nachdem dieses System erneut installiert wurde, sind zusätzliche Schritte erforderlich, um sicherzustellen, dass Hadoop -Verbindungen weiterhin ordnungsgemäß funktionieren.

Hadoop-System

Wenn Sie einen neuen verfügbar gemachten Endpunkt für Hadoophinzugefügt haben, wird empfohlen, den Cloud Pak for Data -Cluster, der bei diesem Hadoop -System registriert wurde, erneut zu registrieren.Die Registrierung unter „ Cloud Pak for Data “ bleibt erhalten, wenn Sie die Anwendung mithilfe von ./uninstall.py und ./install.py neu installieren. Dieser Schritt ist nicht erforderlich, wenn Sie eine yum erase dsxhiund yum install dsxhi-*rpm ausgeführt und die Installation ausgeführt haben. Die letztere Option löscht die Registrierungsdaten.

Verwenden Sie ./manage_known_dsx.py -r  <host>./manage_known_dsx.py -l zum Anzeigen der Liste und anschließend die Option zum Aktualisieren der Registrierung.

Cloud Pak for Data

Der Administrator von „ Cloud Pak for Data “ muss außerdem die Registrierung unter Hadoop aktualisieren.

Wichtig: Löschen Sie die vorhandene Registrierung nicht.

Wenn die Registrierung gelöscht wird, müssen einige Benutzertasks ausgeführt werden. Weitere Informationen finden Sie unter Projekte exportieren und importieren.

  1. Wechseln Sie zum Integrationsbereich „ Hadoop “ und wählen Sie das System aus, das aktualisiert wurde.
  2. Klicken Sie auf der Detailseite auf Update Certificate. Wenn die Aktualisierung beim ersten Versuch fehlschlägt, wurde das Zertifikat wahrscheinlich nicht aktualisiert. Versuchen Sie es erneut.

Fehler bei der Datenverfeinerung auf einem „ Hadoop “-Cluster

Nutzen Sie die folgenden Informationen zur Fehlerbehebung bei der Datenverfeinerung im „ Hadoop “-Cluster.

Fehler: "Überprüfen Sie, ob die Verbindung URL und die Hadoop -Umgebung URL für Livy spark2 auf denselben Pfad verweisen."
Dieser Fehler kann nach dem Upgrade von Cloud Pak for Data auftreten.

. Um diesen Fehler zu beheben, überprüfen Sie, ob die Verbindung URL und die Hadoop -Umgebung URL für Livy spark2 auf denselben Pfad verweisen. Der Administrator kann die URLs unter "Administration > Konfiguration und Einstellungen > Hadoop Execution Engine " bestätigen. Falls die URLs nicht übereinstimmen, aktualisieren Sie die Verbindungs URL en und die Zertifikatsdaten.

Fehler: "Connection type: '< type>' is not supported for data shaping on Hadoop environment"
Für die Ausführung von „ Data Refinery “-Jobs in einer „ Hadoop “-Umgebung werden ausschließlich Verbindungen zur „ Hadoop Execution Engine“ unterstützt. Weitere Informationen finden Sie in der Liste der Hadoop Execution Engine-Verbindungen unter Daten im Hadoop -Cluster verfeinern.

Fehler: "Format '< Format>' wird für HDFS -Schreib-/Lesezugriff nicht unterstützt"
Sie haben ein nicht unterstütztes Datenformat für die Aufbereitung von „ HDFS “-Daten ausgewählt. Eine Liste der unterstützten Datenformate finden Sie unter Verbindung zuHDFS via Execution Engine for Hadoop .

Registrieren eines Cloud Pak for Data -Clusters schlägt fehl

Wenn die Registrierung eines Cloud Pak for Data -Clusters fehlschlägt, prüfen Sie die folgenden Details:

  • Stellen Sie sicher, dass die bei der Registrierung angegebene E-Mail-Adresse URL korrekt ist. Siehe Zugriffsverwaltung für Cloud Pak for Data.
  • Wenden Sie sich an den Administrator von „ Hadoop “, der den Dienst auf dem „ Hadoop “-Cluster installiert hat, und vergewissern Sie sich, dass die bei der Registrierung angegebene Benutzer-ID des Dienstes korrekt ist.
  • Stellen Sie sicher, dass der OpenShift-DNS-Operator so konfiguriert ist, dass er den Hostnamen in der bei der Registrierung angegebenen „ URL “ erfolgreich auflöst.
  • Bitten Sie den OpenShift-Administrator, die Protokolle von utils-api pod auf weitere Diagnoseinformationen zu überprüfen.