Resolución de problemas de entornos Hadoop

Utilice estas soluciones para resolver los problemas que pueda experimentar al utilizar Hadoop entornos.

Reiniciar Execution Engine for Apache Hadoop los servicios desde Cloudera el Administrador o Ambari

Si debe reiniciar los Execution Engine for Apache Hadoop servicios desde Cloudera el Administrador ( CDH ) o Ambari ( HDP ), reinicie todos los Execution Engine for Apache Hadoop servicios ejecutando los siguientes comandos:

  cd /opt/ibm/dsxhi/bin
  ./stop.py
  ./start.py

Exportación e importación de proyectos

Si exporta activos del proyecto que contienen una referencia a un sistema Hadoop integrado e importa el proyecto a un clúster Cloud Pak for Data diferente, es posible que se produzca un problema por el que los cuadernos, las conexiones y los trabajos de refinado fallen.

La razón es que cuando se exporta el proyecto, el registro de Hadoop que está definido globalmente no se incluye como parte de la exportación porque se trata de una propiedad global. Realice los pasos siguientes para que el proyecto importado funcione correctamente. Estos pasos son necesarios, ya que la información de integración de Hadoop no forma parte de la exportación de un proyecto y se define globalmente como parte del clúster de Cloud Pak for Data.  

Este escenario también puede darse cuando el administrador elimina una entrada en la página Hadoop Integración a la que también hace referencia el entorno de un usuario.Si el administrador añade la misma entrada, debe realizar igualmente los pasos siguientes para corregir los problemas.

Problemas y solución temporal

El problema de importación y exportación de proyectos afecta a:

Para resolver este problema, consulte Solución alternativa. Después de aplicar la solución temporal, es posible que tenga que realizar más pasos. Las secciones siguientes incluyen información adicional.

Entornos

Los entornos no muestran todos Hadoop los detalles.

Cuadernos

Aunque todavía puede ver el contenido del cuaderno, cuando intenta abrirlo en modo Edición, falla. Además, no puede suprimir el tiempo de ejecución activo. La supresión del entorno de ejecución también falla.

Cuando se suprime el entorno no válido, la página Activos indica con un icono que el entorno se ha eliminado del cuaderno.

  1. En el botón Acción, seleccione Cambiar entorno y, a continuación, seleccione el entorno que se ha creado recientemente en la solución alternativa Entornos.
  2. Pulse Asociar y, a continuación, ejecute el cuaderno para validar que la solución temporal funciona.

Trabajos

Un trabajo falla con el error Failed to find remote host for id.

Esto se aplica a los trabajos de cuaderno y Data Refinery.Cuando se elimina el entorno no válido, la interfaz de usuario de los trabajos indicará que al trabajo le falta una plantilla de entorno.

  1. Haga clic en Editar junto a Plantilla de entorno y, en la pestaña Plantilla de entorno, seleccione el nuevo entorno y haga clic en Enviar.
  2. Ejecute el trabajo.

Conectores

Los datos conectados fallan con un error extraño. Realice una de las tareas siguientes:

  • Si el administrador de Cloud Pak for Data ha creado la entrada de registro de integración de Hadoop utilizando el mismo nombre que se ha definido anteriormente, no se necesitan cambios para la conexión.
  • Si el administrador de Cloud Pak for Data ha cambiado el nombre de registro de integración de Hadoop, debe navegar a la conexión e iniciar la página Editar conexión y actualizar los URL de HDFS/Hive de acuerdo con la entrada de registro renombrada. 

Solución alternativa

Utilice la siguiente solución temporal para resolver los problemas de entornos, cuadernos, trabajos y conectores:

  1. El administrador de Cloud Pak for Data debe registrar el mismo sistema en la página Integración de Hadoop. Se recomienda utilizar el mismo nombre para este registro.
  2. Los usuarios deben crear una nueva plantilla de entorno que haga referencia a la nueva Hadoop entrada de registro.
  3. Los usuarios deben suprimir el entorno no válido.
  4. Los usuarios deben actualizar su trabajo o cuaderno para hacer referencia al nuevo entorno.

Error al importar dist-keras en una sesión Execution Engine for Apache Hadoop remota

El paquete dist-keras no es compatible con Python3.7 en clústeres Hadoop Power PC.

Importante: La biblioteca dist-keras dejará de ser compatible a partir de Cloud Pak for Data la versión 4.0.

Si está enviando la imagen de Python 3.7 Jupyter a un motor de ejecución para el sistema registrado Apache Hadoop mediante configuraciones de la plataforma, la instalación de dist-keras en la imagen falla en las máquinas Power. Esto generará un aviso como el siguiente en los registros de envío de imagen:

Attempting to install HI addon libs to active environment ...
  ==> Target env: /opt/conda/envs/Python-3.7-main ...
  ====> Installing conda packages ...
  ====> Installing pip packages ...
  ==> WARNING: HI addons could not be installed:

  ----------------------------------------------
Collecting package metadata: ...working... done
Solving environment: ...working... done
.
.
.
    File "/opt/conda/envs/Python-3.7-main/lib/python3.7/site-packages/typing.py", line 1003, in __new__
      self._abc_registry = extra._abc_registry
  AttributeError: type object 'Callable' has no attribute '_abc_registry'
.
.
.
  ----------------------------------------------

      A Hadoop admin may need to manually install some libraries
      into the remote image after it is pushed ...

Aunque la operación de envío de imágenes debería continuar y finalmente tener éxito, los intentos de importar distkeras en una sesión Execution Engine for Apache Hadoop remota ( Livy o JEG) fallan con un error como No module named 'distkeras'.

Aparte de la falta de compatibilidad con dist-keras, la imagen Python3.7 impulsada para Power se puede utilizar en sesiones Execution Engine for Apache Hadoop remotas como cualquier otra imagen impulsada.

Configuración de Hadoop cuando se reinstala un sistema remoto

Este es un escenario en el que es necesario volver a instalar el rpm de Apache Hadoop (dsxhi) Execution Engine en el sistema Hadoop. Después de reinstalar el sistema, hay pasos adicionales que son necesarios para asegurar que Hadoop las conexiones continúen funcionando correctamente.

Sistema Hadoop

Si ha añadido un nuevo punto final expuesto para Hadoop, se recomienda que vuelva a registrar el Cloud Pak for Data clúster que se ha registrado con este Hadoop sistema.El registro de Cloud Pak for Data se mantiene si utiliza ./uninstall.py y ./install.py para volver a instalar la aplicación. Este paso no es necesario si ha realizado un yum erase dsxhi, y yum install dsxhi-*rpm y ha ejecutado la instalación. Esta última opción borra los datos de registro. 

Utilice ./manage_known_dsx.py -l para listar y, a continuación, utilice la opción ./manage_known_dsx.py -r  <host> para renovar el registro.  

Cloud Pak for Data

El administrador de Cloud Pak for Data también debe renovar el registro de Hadoop. 

Importante: No elimine el registro existente.

Si se elimina el registro, hay algunas tareas que el usuario debe realizar. Para obtener más información, consulte Exportación e importación de proyectos.

  1. Vaya al panel de integración de Hadoop y seleccione el sistema que se ha actualizado.
  2. En la página de detalles, haz clic en Update Certificate. Si la actualización falla la primera vez, es probable que el certificado no se haya actualizado. Inténtelo de nuevo.

Errores al refinar datos en un clúster de Hadoop

Utilice la siguiente información para resolver problemas de errores al refinar datos en el clúster de Hadoop.

Error: «Compruebe que la conexión URL y el Hadoop entorno URL para hacen referencia Livyspark2 a la misma ruta»
Este error puede producirse después de actualizar Cloud Pak for Data.

Para solucionarlo, compruebe que la conexión URL y el Hadoop entorno URL hacen referencia a Livyspark2 la misma ruta. El administrador puede confirmar las URL desde Administración > Configuración y ajustes > Motor de Hadoop ejecución. Si los URL no coinciden, actualice el URL de conexión y la información de certificado.

Error: «Tipo de conexión: '<tipo>' no es compatible con el modelado de datos en Hadoop el entorno»
Solo se da soporte a conexiones de Hadoop Execution Engine para ejecutar trabajos de Data Refinery en un entorno Hadoop. Consulte la lista de conexiones Hadoop del motor de ejecución en Refinamiento de datos en el Hadoop clúster.

Error: «El formato '<formato>' no es compatible con HDFS la lectura/escritura»
Ha seleccionado un formato de datos no soportado para refinar los datos de HDFS. Consulte HDFS via Execution Engine for Hadoop conexión para obtener la lista de formatos de datos compatibles.

El registro de un Cloud Pak for Data clúster falla

Si falla el registro de un Cloud Pak for Data clúster, compruebe los siguientes detalles:

  • Asegúrese de que el URL proporcionado durante el registro es correcto. Consulte Gestión del acceso para Cloud Pak for Data.
  • Póngase en contacto con el administrador de Hadoop que ha instalado el servicio en el clúster de Hadoop y asegúrese de que el ID de usuario de servicio que se ha proporcionado durante el registro sea correcto.
  • Asegúrese de que el operador de DNS de Openshift esté configurado para resolver correctamente el nombre de host en el URL proporcionado durante el registro.
  • Póngase en contacto con el administrador de Openshift para inspeccionar los registros del utils-api pod y obtener más información de diagnóstico.