Solução de problemas em ambientes do ` Hadoop `

Use essas soluções para resolver problemas que você possa encontrar ao usar Hadoop ambientes.

Reiniciando Execution Engine for Apache Hadoop os serviços a partir Cloudera do Gerenciador ou Ambari

Se você precisar reiniciar os Execution Engine for Apache Hadoop serviços a partir Cloudera do Gerenciador ( CDH ) ou Ambari ( HDP ), reinicie todos os Execution Engine for Apache Hadoop serviços executando os seguintes comandos:

  cd /opt/ibm/dsxhi/bin
  ./stop.py
  ./start.py

Exportação e importação de projetos

Se você exportar ativos do projeto que contenham uma referência a um sistema Hadoop integrado e estiver importando o projeto para um cluster Cloud Pak for Data diferente, poderá ocorrer um problema em que notebooks, conexões e tarefas de refinaria falhem.

A razão é que, quando o projeto é exportado, o registro de ` Hadoop `, definido globalmente, não é incluído na exportação, pois se trata de uma propriedade global.Siga as etapas a seguir para garantir que o projeto importado funcione corretamente.Essas etapas são necessárias, pois as informações de integração d Hadoop e não fazem parte da exportação do projeto e são definidas globalmente como parte do cluster Cloud Pak for Data.

Esse cenário também pode ocorrer quando o administrador exclui uma entrada na página Hadoop Integração que também é referenciada pelo ambiente de um usuário.Mesmo que o administrador volte a adicionar a mesma entrada, você ainda deve seguir os passos a seguir para corrigir os problemas.

Problemas e soluções alternativas

O problema com o projeto de importação e exportação afeta:

Para resolver este problema, consulte Solução alternativa. Depois de concluir a solução alternativa, talvez seja necessário realizar etapas adicionais. As seções a seguir contêm informações adicionais.

Ambientes

Os ambientes não mostram todos os detalhes Hadoop.

Blocos de notas

Embora você ainda possa visualizar o conteúdo do caderno, quando tenta iniciá-lo no modo Editar, ele falha. Além disso, não é possível excluir o ambiente de execução ativo. A exclusão do ambiente de execução também falha.

Quando o ambiente inválido é excluído, a página "Ativos" indica, por meio de um ícone, que o ambiente foi removido do notebook.

  1. No botão Ação, selecione Alterar ambiente e, em seguida, selecione o ambiente que foi criado recentemente na solução alternativa Ambientes.
  2. Clique em “Associar ” e, em seguida, execute o notebook para verificar se a solução alternativa funcionou.

Tarefas

Uma tarefa falhará com um Failed to find remote host for id erro.

Isso se aplica a tarefas do tipo " Data Refinery " e "notebook".Quando o ambiente inválido for excluído, a interface do usuário dos trabalhos indicará que o trabalho tem um modelo de ambiente ausente.

  1. Clique em Editar ao lado de Modelo de ambiente e, na guia Modelo de ambiente, selecione o novo ambiente e clique em Enviar.
  2. Execute a tarefa.

Conectores

Um dado conectado apresenta um erro estranho. Execute uma das seguintes tarefas:

  • Se o administrador do Cloud Pak for Data tiver criado o registro de integração do Hadoop usando o mesmo nome definido anteriormente, não será necessário fazer alterações na conexão.
  • Se o administrador do Cloud Pak for Data alterou o nome de registro da integração Hadoop, você deve acessar a conexão, abrir a página “Editar conexão ” e atualizar as URLs HDFS / Hive de acordo com o nome da entrada de registro renomeada.

Alternativa

Utilize a solução alternativa a seguir para resolver cada problema em ambientes, notebooks, tarefas e conectores:

  1. O administrador do Cloud Pak for Data deve registrar esse mesmo sistema na página de integração do Hadoop. Recomenda-se usar o mesmo nome para este registro.
  2. Os usuários devem criar um novo modelo de ambiente que faça referência à nova entrada Hadoop de registro.
  3. Os usuários devem excluir o ambiente inválido.
  4. Os usuários devem atualizar seu trabalho ou notebook para fazer referência ao novo ambiente.

Erro ao importar dist-keras em uma sessão Execution Engine for Apache Hadoop remota

O pacote dist-keras não é compatível com Python3.7 clusters Power Hadoop PC.

Importante: A biblioteca dist-keras não será mais suportada a partir Cloud Pak for Data da versão 4.0.

Se você estiver enviando a imagem Jupyter Python 3.7 para um sistema registrado no Execution Engine for Apache Hadoop por meio das configurações da plataforma, a instalação do dist-keras na imagem falhará em máquinas Power. Isso gerará um aviso semelhante ao mostrado na imagem nos registros de envio:

Attempting to install HI addon libs to active environment ...
  ==> Target env: /opt/conda/envs/Python-3.7-main ...
  ====> Installing conda packages ...
  ====> Installing pip packages ...
  ==> WARNING: HI addons could not be installed:

  ----------------------------------------------
Collecting package metadata: ...working... done
Solving environment: ...working... done
.
.
.
    File "/opt/conda/envs/Python-3.7-main/lib/python3.7/site-packages/typing.py", line 1003, in __new__
      self._abc_registry = extra._abc_registry
  AttributeError: type object 'Callable' has no attribute '_abc_registry'
.
.
.
  ----------------------------------------------

      A Hadoop admin may need to manually install some libraries
      into the remote image after it is pushed ...

Embora a operação de envio de imagem deva continuar e eventualmente ser bem-sucedida, as tentativas de importação distkeras em uma sessão Execution Engine for Apache Hadoop remota ( Livy ou JEG) falham com um erro como No module named 'distkeras'.

Além da falta de suporte para dist-keras, a imagem Python3.7 enviada para o Power pode ser usada em sessões Execution Engine for Apache Hadoop remotas como qualquer outra imagem enviada.

Configurar o ` Hadoop ` quando um sistema remoto é reinstalado

Este é um cenário em que você precisa reinstalar o pacote RPM do Execution Engine Apache Hadoop (dsxhi) no seu sistema Hadoop.Após a reinstalação do sistema, há etapas adicionais necessárias para garantir que Hadoop as conexões continuem funcionando corretamente.

Sistema Hadoop

Se você adicionou um novo endpoint exposto para Hadoop, é recomendável registrar novamente o Cloud Pak for Data cluster que foi registrado neste Hadoop sistema.O registro do ` Cloud Pak for Data ` é mantido se você usar ./uninstall.py `and ./install.py ` para reinstalar o aplicativo. Esta etapa não é necessária se você fez um yum erase dsxhi, e yum install dsxhi-*rpm e executou a instalação. Essa última opção apaga os dados de registro.

Use ./manage_known_dsx.py -l para listar e, em seguida, use ./manage_known_dsx.py -r  <host> a opção para atualizar o registro.

Cloud Pak for Data

O administrador do Cloud Pak for Data também precisa atualizar o registro do Hadoop.

Importante: Não exclua o registro existente.

Se o registro for excluído, algumas tarefas do usuário precisarão ser realizadas. Para obter mais informações, consulte Exportando e importando projetos.

  1. Acesse o painel de integração do Hadoop e selecione o sistema que foi atualizado.
  2. Na página de detalhes, clique em Update Certificate. Se a atualização falhar na primeira tentativa, é provável que o certificado não tenha sido atualizado. Tente novamente.

Erros ao refinar dados em um cluster do Hadoop

Use as informações a seguir para solucionar erros ao refinar dados no cluster do Hadoop.

Erro: "Verifique se a conexão URL e o Hadoop ambiente URL de Livyspark2 referência têm o mesmo caminho"
Esse erro pode ocorrer após a atualização Cloud Pak for Data.

Para corrigi-lo, verifique se a conexão URL e o Hadoop ambiente URL de Livyspark2 referência apontam para o mesmo caminho. O administrador pode confirmar as URLs em Administração > Configuração e definições > Mecanismo de Hadoop execução. Se os URLs não forem os mesmos, atualize o endereço de conexão URL e as informações do certificado.

Erro: "Tipo de conexão: '<tipo>' não é compatível com modelagem de dados no Hadoop ambiente"
Apenas conexões com o Mecanismo de Execução do Hadoop são compatíveis para a execução de tarefas do Data Refinery em um ambiente do Hadoop. Consulte a lista de conexões do Hadoop mecanismo de execução em Refinamento de dados no Hadoop cluster.

Erro: "O formato '<formato>' não é compatível com HDFS leitura/gravação"
Você selecionou um formato de dados não compatível para refinar os dados d HDFS. Consulte HDFS via Execution Engine for Hadoop conexão para obter a lista de formatos de dados compatíveis.

Falha ao registrar um Cloud Pak for Data cluster

Se o registro de um Cloud Pak for Data cluster falhar, verifique os seguintes detalhes:

  • Certifique-se de que o endereço URL fornecido durante o cadastro está correto. Consulte Gerenciando o acesso para Cloud Pak for Data.
  • Entre em contato com o administrador do Hadoop que instalou o serviço no cluster Hadoop e verifique se o ID de usuário do serviço fornecido durante o registro está correto.
  • Certifique-se de que o operador DNS do OpenShift esteja configurado para resolver corretamente o nome do host no endereço URL fornecido durante o registro.
  • Entre em contato com o administrador do Openshift para inspecionar os registros do utils-api pod para obter mais informações de diagnóstico.