Spark랩-개발 환경

Spark랩은 Spark 엔진에서 실행 중인 Spark 클러스터에서 Spark 애플리케이션을 대화식으로 프로그래밍, 디버그, 제출 및 테스트할 수 있도록 하는 Spark 기반 개발 환경입니다.

Visual Studio Code 확장으로 사용할 수 있으며 로컬 시스템에 설치하여 Visual Studio Code를 사용하여 Spark IDE에 액세스할 수 있습니다. 개발 시간을 줄이고 사용성을 증가시킵니다.

시작하기 전에

  1. Visual Studio Code의 데스크탑 버전을 설치하십시오.
  2. VS 코드 마켓플레이스에서 IBM Analytics Engine 확장 프로그램인 Spark Labs를 설치합니다.
  3. Spark랩과의 SSH 연결을 설정하기 위한 공용-개인용 SSH키 쌍이 있는지 확인하십시오. 키 생성에 대한 자세한 내용은 Visual Studio Code Spark Labs - IBM Analytics Engine 확장 프로그램을 열고 세부 정보 탭으로 이동하여 컴퓨터에서 SSH 설정 섹션을 참조하세요.
  4. Visual Studio Code marketplace에서 Visual Studio Code 확장, Remote-SSH 를 설치하십시오.

스파크 랩은 x86 버전에서만 지원됩니다.

프로시저

Spark랩 작성

  1. IBM Analytics Engine 확장 프로그램인 Spark Labs를 설치합니다.

    a. Visual Studio Code를 여십시오. 확장을 클릭하십시오.

    b. VS Code Marketplace에서 Spark Labs - IBM Analytics Engine 확장 프로그램을 검색하여 확장 프로그램을 설치하세요.

    c. 왼쪽 탐색 창에서 Spark Labs - IBM Analytics Engine 아이콘을 볼 수도 있습니다. 아이콘을 클릭하십시오. 설정 창이 열립니다.

  2. Spark Labs - IBM Analytics Engine 확장 프로그램을 구성합니다.

    a. 설정으로 이동을 클릭하십시오. 다음 항목을 구성하십시오.

    • Environment Type: IBM 퍼블릭 클라우드를 환경 유형으로 선택하십시오.

    • host: Cloud Pak for Data 인스턴스의 호스트 이름입니다. 예: cpd-cpd-instance.my-cluster.ibm.com.

    • username: Cloud Pak for Data 계정의 사용자 이름입니다.

    • privateKeyPath: 개인용 SSH키 파일의 경로입니다.

    • publicKeyPath: 공용 SSH키 파일에 대한 경로입니다.

    b. Refresh를 클릭하십시오. Visual Studio 코드 창은 username필드를 설정할 때 지정한 사용자의 APIkey에 대한 프롬프트를 표시합니다. API키를 생성하려면 사용자 API키 관리를 참조하십시오.

    c. API키를 제공하고 Enter를 누르십시오. Visual Studio Code 애플리케이션의 왼쪽 분할창에서 Spark 엔진을 보려면 창을 새로 고치십시오.

  3. Spark랩을 작성하십시오.

    a. 새 Spark랩을 작성하려면+아이콘을 클릭하십시오. Spark랩 작성 창이 열립니다. Spark랩에 대한 액세스 권한을 부여할 사용자의 공용 SSH키공용 SSH키 를 지정하십시오. 새 행에 각 공용 SSH키를 지정하십시오.

    b. Create(작성)를 클릭하십시오. 왼쪽 창에서 Spark랩을 보려면 새로 고치기 를 클릭하십시오. 이는 애플리케이션 개발을 위한 전용 Spark 클러스터입니다.

    c. Spark랩을 열어 파일 시스템, 터미널에 액세스하고 이에 대해 작업하십시오.

    c. 탐색기 창에서 파일을 업로드하고 로그를 볼 수 있는 파일 시스템을 볼 수 있습니다.

    이미 실행 중인 스파크 랩을 삭제하려면, 스파크 랩 - IBM Analytics Engine 왼쪽 탐색 창에서 스파크 랩 이름 위로 마우스를 가져가서 삭제 아이콘을 클릭합니다.

Spark 애플리케이션 개발

Spark랩에서 Spark 애플리케이션을 개발하십시오. 다음 방법 중 하나로 Spark 애플리케이션에 대해 작업할 수 있습니다.

사용자 고유의 Python 파일 작성

  1. Python 애플리케이션 파일을 작성하거나 업로드하거나 탐색기 창으로 끌어오십시오. Visual Studio Code 애플리케이션의 오른쪽 분할창에서 파일이 열립니다.

  2. 터미널에서 다음 명령을 실행하십시오. 그러면 Python 세션이 시작되고 터미널에서 수신확인 메시지를 볼 수 있습니다.

    python <filename>
    

Jupyter 노트북 작성

  1. VS Code Marketplace 에서 Jupyter 확장을 찾아보고 확장을 설치하십시오.

  2. 확장자가 .ipynb 인 새 Jupyter Notebook 파일을 작성하거나 기존 노트북을 탐색기 창으로 끌어서 놓을 수 있습니다.

  3. 탐색기 창에서 두 번 클릭하여 Jupyter Notebook을 여십시오.

  4. Jupyter Notebook에서 커널 변경 링크를 클릭하여 Python 환경을 선택하십시오.

  5. 이제 Jupyter Notebook 을 사용할 준비가 되었습니다. 코드를 작성하고 셀 단위로 실행할 수 있습니다.