Hadoop 환경 문제점 해결

Cloudera Manager 또는 Ambari 에서 Execution Engine for Apache Hadoop 서비스 다시 시작

Cloudera Manager (CDH) 또는 Ambari (HDP) 에서 Execution Engine for Apache Hadoop 서비스를 다시 시작해야 하는 경우 다음 명령을 실행하여 모든 Execution Engine for Apache Hadoop 서비스를 다시 시작하십시오.

  cd /opt/ibm/dsxhi/bin
  ./stop.py
  ./start.py

프로젝트 내보내기 및 가져오기

Hadoop통합 시스템에 대한 참조를 포함하는 프로젝트 자산을 내보내고 프로젝트를 다른 Cloud Pak for Data 클러스터로 가져오는 경우 노트북, 연결 및 세분화 작업이 실패하는 문제가 있을 수 있습니다.

그 이유는 프로젝트를 내보낼 때 글로벌로 정의된 Hadoop 등록이 글로벌 특성이기 때문에 내보내기의 일부로 포함되지 않기 때문입니다. 다음 단계를 수행하여 가져온 프로젝트가 제대로 작동하는지 확인하십시오. Hadoop 통합 정보는 프로젝트 내보내기의 일부가 아니며 Cloud Pak for Data 클러스터의 일부로 글로벌하게 정의되므로 이러한 단계가 필요합니다.

이 시나리오는 관리자가 사용자 환경에서도 참조되는 Hadoop 통합 페이지에서 항목을 삭제하는 경우에도 발생할 수 있습니다. 관리자가 동일한 항목을 다시 추가하는 경우에도 다음 단계를 수행하여 문제를 정정해야 합니다.

원격 Execution Engine for Apache Hadoop 세션에서 dist-keras를 가져오는 중에 오류가 발생했습니다.

dist-keras 패키지는 Power PC Hadoop 클러스터의 Python 3.7 에서 지원되지 않습니다.

플랫폼 구성을 통해 Python 3.7 Jupyter 이미지를 Execution Engine for Apache Hadoop 등록 시스템에 푸시하는 경우 Power 머신에서 이미지에 dist-keras를 설치하는 데 실패합니다. 그러면 이미지 푸시 로그에서 다음과 같은 경고가 생성됩니다.

Attempting to install HI addon libs to active environment ...
  ==> Target env: /opt/conda/envs/Python-3.7-main ...
  ====> Installing conda packages ...
  ====> Installing pip packages ...
  ==> WARNING: HI addons could not be installed:

  ----------------------------------------------
Collecting package metadata: ...working... done
Solving environment: ...working... done
.
.
.
    File "/opt/conda/envs/Python-3.7-main/lib/python3.7/site-packages/typing.py", line 1003, in __new__
      self._abc_registry = extra._abc_registry
  AttributeError: type object 'Callable' has no attribute '_abc_registry'
.
.
.
  ----------------------------------------------

      A Hadoop admin may need to manually install some libraries
      into the remote image after it is pushed ...

이미지 푸시 조작이 계속되어 결과적으로 성공하는 동안 원격 Execution Engine for Apache Hadoop 세션 (Livy 또는 JEG) 에서 distkeras 를 가져오려는 시도가 No module named 'distkeras'와 같은 오류로 실패합니다.

dist-keras에 대한 지원이 없는 경우를 제외하고 Power용으로 푸시된 Python 3.7 이미지는 다른 푸시된 이미지와 마찬가지로 원격 Execution Engine for Apache Hadoop 세션에서 사용할 수 있습니다.

원격 시스템이 다시 설치될 때 Hadoop 설정

이 시나리오에서는 Hadoop 시스템에 실행 엔진 Apache Hadoop (dsxhi) rpm을 다시 설치해야 합니다. 해당 시스템을 다시 설치한 후 Hadoop 연결이 계속해서 제대로 작동하는지 확인하기 위해 필요한 추가 단계가 있습니다.

Hadoop 시스템

Hadoop에 대해 새로 노출된 엔드포인트를 추가한 경우 이 Hadoop 시스템에 등록된 Cloud Pak for Data 클러스터를 다시 등록하는 것이 좋습니다. ./uninstall.py 및 ./install.py 를 사용하여 애플리케이션을 다시 설치하는 경우 Cloud Pak for Data 등록이 유지됩니다. yum erase dsxhi및 yum install dsxhi-*rpm 를 수행하고 설치를 실행한 경우에는 이 단계가 필요하지 않습니다. 후자의 옵션은 등록 데이터를 지웁니다.

./manage_known_dsx.py -l 를 사용하여 등록을 나열한 후 ./manage_known_dsx.py -r  <host> 옵션을 사용하여 등록을 새로 고치십시오.

Cloud Pak for Data

Cloud Pak for Data 관리자도 Hadoop 등록을 새로 고쳐야 합니다.

등록이 삭제되면 몇 가지 사용자 태스크를 수행해야 합니다. 자세한 정보는 프로젝트 내보내기 및 가져오기를 참조하십시오.

1. Hadoop 통합 패널로 이동하여 업데이트된 시스템을 선택하십시오.
2. 세부사항 페이지에서 Update Certificate를 클릭하십시오. 업데이트가 처음으로 실패하는 경우 인증서가 업데이트되지 않았을 수 있습니다. 다시 시도하십시오.

Hadoop 클러스터에서 데이터를 세분화할 때 발생하는 오류

Hadoop 클러스터에서 데이터를 세분화할 때 오류를 해결하려면 다음 정보를 사용하십시오.

오류: " Livy spark2 의 연결 URL 과 Hadoop 환경 URL 이 동일한 경로를 참조하는지 확인하십시오."

Cloud Pak for Data 를 업그레이드한 후에 이 오류가 발생할 수 있습니다.

이 오류를 해결하려면 URL 와 Hadoop 환경 URL for Livy spark2 가 동일한 경로를 참조하는지 확인하십시오. 관리자는 관리 > 구성 및 설정 > 실행 엔진( Hadoop ) 에서 URL을 확인할 수 있습니다. URL이 동일하지 않은 경우, 연결 URL 및 인증서 정보를 업데이트하십시오.

오류: "연결 유형: '< type>' 은 Hadoop 환경에서 데이터 쉐이핑에 대해 지원되지 않습니다."

Hadoop 실행 엔진 연결만 Hadoop 환경에서 Data Refinery 작업을 실행하는 데 지원됩니다. Hadoop 클러스터에서 데이터 세분화에서 Hadoop 실행 엔진 연결 목록을 참조하십시오.

오류: "'< format>' 형식은 HDFS 읽기/쓰기에 대해 지원되지 않습니다."

HDFS 데이터를 세분화하기 위해 지원되지 않는 데이터 형식을 선택했습니다. 지원되는 데이터 형식 목록은 HDFS via Execution Engine for Hadoop 연결 의 내용을 참조하십시오.

Cloud Pak for Data 클러스터 등록 실패

Cloud Pak for Data 클러스터 등록에 실패하면 다음 세부사항을 확인하십시오.

• URL 등록 시 입력한 이메일 주소가 정확한지 확인하십시오. Cloud Pak for Data 의 접근 권한 관리 부분을 참조하십시오.
• Hadoop 클러스터에 서비스를 설치한 Hadoop 관리자에게 문의하여 등록 중에 제공된 서비스 사용자 ID가 올바른지 확인하십시오.
• 등록 과정에서 제공된 URL 의 호스트 이름을 성공적으로 해결하도록 Openshift DNS 운영자가 구성되어 있는지 확인하십시오.
• 추가 진단 정보는 Openshift 관리자에게 문의하여 utils-api pod 의 로그를 검사하십시오.