Dépannage des environnements « Hadoop »

Utilisez ces solutions pour résoudre les problèmes que vous pouvez rencontrer lors de l'utilisation d'environnements Hadoop .

Redémarrage des services Execution Engine for Apache Hadoop depuis Cloudera Manager ou Ambari

Si vous devez redémarrer les services Execution Engine for Apache Hadoop depuis Cloudera Manager (CDH) ou Ambari (HDP), redémarrer tous les services Execution Engine for Apache Hadoop en exécutant les commandes suivantes:

  cd /opt/ibm/dsxhi/bin
  ./stop.py
  ./start.py

Exportation et importation de projets

Si vous exportez des actifs de projet qui contiennent une référence à un système intégré Hadoopet que vous importez le projet dans un autre cluster Cloud Pak for Data , vous pouvez rencontrer un problème dans lequel des blocs-notes, des connexions et des travaux d'affinage échouent.

En effet, lors de l'exportation du projet, l'enregistrement « Hadoop », qui est défini au niveau global, n'est pas inclus dans l'exportation, car il s'agit d'une propriété globale.Suivez les étapes suivantes pour vous assurer que le projet importé fonctionne correctement.Ces étapes sont obligatoires, car les informations d'intégration d' Hadoop ne sont pas incluses dans l'exportation d'un projet et sont définies globalement au sein du cluster Cloud Pak for Data.

Ce scénario peut également se produire lorsque l'administrateur supprime une entrée de la page d'intégration Hadoop qui est également référencée par l'environnement d'un utilisateur.Si l'administrateur rajoute la même entrée, vous devez tout de même suivre les étapes suivantes pour corriger les problèmes.

Problèmes et solutions de contournement

Le problème lié au projet d'importation et d'exportation concerne :

Pour résoudre ce problème, voir Solution palliative. Une fois cette solution de contournement mise en œuvre, vous devrez peut-être effectuer des étapes supplémentaires. Les sections suivantes contiennent des informations complémentaires.

Environnements

Les environnements n'affichent pas tous les détails de Hadoop .

Blocs-notes

Bien que vous puissiez toujours afficher le contenu du bloc-notes, lorsque vous tentez de le lancer en mode Edition , il échoue. De plus, vous ne pouvez pas supprimer l'environnement d'exécution actif. La suppression de l'environnement d'exécution échoue également.

Lorsque l'environnement invalide est supprimé, la page « Assets » indique, à l'aide d'une icône, que cet environnement a été supprimé du notebook.

  1. Dans le bouton Action , sélectionnez Modifier l'environnement, puis sélectionnez l'environnement qui a été créé récemment dans la solution de contournement des environnements.
  2. Cliquez sur « Associer », puis exécutez le notebook pour vérifier que la solution de contournement fonctionne correctement.

Travaux

Une tâche échouera en raison d'une Failed to find remote host for id erreur.

Cela s'applique aux tâches « Data Refinery » et « notebook ». Lorsque l'environnement non valide est supprimé, l'interface utilisateur des travaux indique que le travail comporte un modèle d'environnement manquant.

  1. Cliquez sur Editer en regard de Modèle d'environnement, puis dans l'onglet Modèle d'environnement , sélectionnez le nouvel environnement et cliquez sur Soumettre.
  2. Lancez la tâche.

Connecteurs

Une donnée connectée génère une erreur étrange. Effectuez l'une des tâches suivantes :

  • Si l'administrateur d' Cloud Pak for Data a créé l'entrée d'enregistrement de l'intégration Hadoop en utilisant le même nom que celui défini précédemment, aucune modification n'est nécessaire au niveau de la connexion.
  • Si l'administrateur d' Cloud Pak for Data a modifié le nom d'enregistrement de l'intégration Hadoop, vous devez alors accéder à la connexion, ouvrir la page « Modifier la connexion », puis mettre à jour les URL HDFS / Hive en fonction du nouveau nom de l'entrée d'enregistrement.

Solution de contournement

Utilisez la solution de contournement suivante pour résoudre chaque problème concernant les environnements, les notebooks, les tâches et les connecteurs :

  1. L'administrateur d' Cloud Pak for Data doit enregistrer ce même système sur la page « Intégration » de Hadoop. Il est recommandé d'utiliser le même nom pour cette inscription.
  2. Les utilisateurs doivent créer un nouveau modèle d'environnement qui fait référence à la nouvelle entrée d'enregistrement Hadoop .
  3. Les utilisateurs doivent supprimer l'environnement non valide.
  4. Les utilisateurs doivent mettre à jour leur tâche ou leur bloc-notes pour qu'il fasse référence au nouvel environnement.

Erreur lors de l'importation de dist-keras dans une session Execution Engine for Apache Hadoop distante

Le package dist-keras n'est pas pris en charge sur les clusters Python 3.7 on Power PC Hadoop .

Important: La bibliothèque dist-keras ne sera plus prise en charge à partir de Cloud Pak for Data version 4.0.

Si vous déployez l'image Jupyter Python 3.7 sur un système enregistré sur Execution Engine for Apache Hadoop via les configurations de la plateforme, l'installation de « dist-keras » dans l'image échoue sur les machines Power. Cela générera un avertissement similaire à celui illustré ci-dessous dans les journaux de transfert d'images :

Attempting to install HI addon libs to active environment ...
  ==> Target env: /opt/conda/envs/Python-3.7-main ...
  ====> Installing conda packages ...
  ====> Installing pip packages ...
  ==> WARNING: HI addons could not be installed:

  ----------------------------------------------
Collecting package metadata: ...working... done
Solving environment: ...working... done
.
.
.
    File "/opt/conda/envs/Python-3.7-main/lib/python3.7/site-packages/typing.py", line 1003, in __new__
      self._abc_registry = extra._abc_registry
  AttributeError: type object 'Callable' has no attribute '_abc_registry'
.
.
.
  ----------------------------------------------

      A Hadoop admin may need to manually install some libraries
      into the remote image after it is pushed ...

Alors que l'opération d'envoi d'image doit se poursuivre et aboutir, les tentatives d'importation de distkeras dans une session Execution Engine for Apache Hadoop distante (Livy ou JEG) échouent avec une erreur telle que No module named 'distkeras'.

Outre le manque de prise en charge de dist-keras, l'image Python 3.7 for Power envoyée par commande push peut être utilisée dans des sessions Execution Engine for Apache Hadoop distantes comme n'importe quelle autre image envoyée par commande push.

Configuration d' Hadoop lors de la réinstallation d'un système distant

Il s'agit d'un scénario dans lequel vous devez réinstaller le paquet RPM « Execution Engine Apache Hadoop (dsxhi) » sur votre système Hadoop. Une fois ce système réinstallé, des étapes supplémentaires sont nécessaires pour garantir que les connexions Hadoop continuent de fonctionner correctement.

Système Hadoop

Si vous avez ajouté un nouveau noeud final exposé pour Hadoop, il est recommandé de réenregistrer le cluster Cloud Pak for Data qui a été enregistré auprès de ce système Hadoop .La clé de registre « Cloud Pak for Data » est conservée si vous utilisez ./uninstall.py et ./install.py pour réinstaller l'application. Cette étape n'est pas nécessaire si vous avez effectué une opération yum erase dsxhiet yum install dsxhi-*rpm et exécuté l'installation. Cette dernière option efface les données d'enregistrement.

Utilisez ./manage_known_dsx.py -l pour afficher la liste, puis utilisez ./manage_known_dsx.py -r  <host> l'option pour actualiser l'enregistrement.

Cloud Pak for Data

L'administrateur de Cloud Pak for Data doit également mettre à jour l'enregistrement de Hadoop.

Important: ne supprimez pas l'enregistrement existant.

Si l'enregistrement est supprimé, quelques tâches utilisateur doivent être effectuées. Pour plus d'informations, voir Exportation et importation de projets.

  1. Accédez au panneau « Intégration d' Hadoop » et sélectionnez le système qui a été mis à jour.
  2. Dans la page des détails, cliquez sur Update Certificate. Si la mise à jour échoue la première fois, cela signifie probablement que le certificat n'a pas été mis à jour. Essayez à nouveau.

Erreurs lors du raffinement des données sur un cluster « Hadoop »

Utilisez les informations suivantes pour résoudre les erreurs qui surviennent lors du raffinement des données sur le cluster « Hadoop ».

Erreur : "Vérifiez que la connexion URL et l'environnement Hadoop URL pour Livy spark2 font référence au même chemin"
Cette erreur peut se produire après la mise à niveau de Cloud Pak for Data.

Pour corriger cette erreur, vérifiez que la connexion URL et l'environnement Hadoop URL pour Livy spark2 référencent le même chemin. L'administrateur peut confirmer les URL à partir de Administration > Configuration et paramètres > Hadoop Execution Engine. Si les URL ne sont pas identiques, mettez à jour l' URL s de connexion et les informations relatives au certificat.

Erreur: "Le type de connexion:'< type>'n'est pas pris en charge pour la mise en forme des données dans l'environnement Hadoop "
Seules les connexions via le moteur d'exécution « Hadoop » sont prises en charge pour l'exécution de tâches « Data Refinery » dans un environnement « Hadoop ». Voir la liste des connexions Hadoop Execution Engine dans Refining data on Hadoop cluster.

Erreur: "Le format'< format>'n'est pas pris en charge pour HDFS en lecture / écriture"
Vous avez sélectionné un format de données non pris en charge pour affiner les données de l' HDFS. Voir ConnexionHDFS via Execution Engine for Hadoop pour obtenir la liste des formats de données pris en charge.

Echec de l'enregistrement d'un cluster Cloud Pak for Data

Si l'enregistrement d'un cluster Cloud Pak for Data échoue, vérifiez les détails suivants:

  • Assurez-vous que les URL s fournies lors de l'inscription sont correctes. Voir Gestion de l'accès à Cloud Pak for Data.
  • Contactez l'administrateur d' Hadoop qui a installé le service sur le cluster Hadoop et vérifiez que l'identifiant de l'utilisateur du service fourni lors de l'enregistrement est correct.
  • Assurez-vous que l'opérateur DNS OpenShift est configuré pour résoudre correctement le nom d'hôte figurant dans l' URL, fourni lors de l'enregistrement.
  • Contactez l'administrateur Openshift pour examiner les journaux de utils-api pod afin d'obtenir des informations de diagnostic supplémentaires.