Amazon S3의 파일에서 데이터 로드

이전에 업로드한 Amazon S3의 데이터 파일에서 클라우드 데이터베이스에 데이터를 로드할 수 있습니다. 데이터 파일은 홈 디렉토리 여유 공간의 80%보다 클 수 없습니다.

해당 단계를 따라 로컬 데이터 파일에서 클라우드 데이터베이스에 데이터를 로드하십시오.

데이터 파일 작성
Amazon S3로 파일 이동
Amazon S3와 함께 DataStage 사용
대상 테이블 작성
Amazon S3에서 데이터 로드

데이터 파일 작성

데이터를 로드하려면 데이터를 쉼표로 구분된(CSV) 파일과 같은 구분된 파일로 저장해야 합니다.

구분 형식의 파일을 작성하려면 데이터베이스 유틸리티를 사용하여 데이터 스토어 또는 DBMS에서 파일로 데이터를 추출하십시오. 각 데이터 파일은 한 테이블의 데이터만 포함해야 합니다.

팁: 다중 데이터 파일을 작성하는 경우, 데이터베이스 내의 대상 테이블에 자동으로 파일을 맵핑하려면 파일 이름에 대해 schema.table 형식을 사용하십시오. 예를 들어, FRUIT.GRAPES.gz라는 이름의 파일을 작성하면 나중에 로드 프로세스 동안 파일이 자동으로 사용자의 데이터베이스의 FRUIT 스키마 내의 GRAPES 테이블에 맵핑됩니다.

DBMS	세부사항	자세히 보기
Oracle	Oracle Application Express® 등의 유틸리티를 사용하여 Oracle에서 데이터를 언로드하십시오.	언로드 프로세스에 대한 Oracle 문서: Using Oracle Application Express Utilities
MySQL	MySQL Workbench 또는 phpMyAdmin 등의 유틸리티를 사용하여 MySQL에서 데이터를 익스포트하십시오.	익스포트 프로세스에 대한 MySQL 문서: Data export
DB2®	명령행 유틸리티를 사용하여 Db2에서 데이터를 익스포트하십시오.	익스포트 프로세스에 대한 Db2 문서: Exporting data

Amazon S3로 파일 이동

데이터 파일을 Amazon S3로 이동하려면 S3 브라우저(http://s3browser.com/download.php 및 https://s3browser.com/buypro.php에서 사용 가능)를 사용하십시오. 파일을 포함하려면 S3 브라우저에서 버킷을 작성해야 합니다. 다중 파일 또는 파일의 폴더를 사용자의 파일 시스템에서 Amazon S3로 이동할 수 있습니다. 많은 양의 데이터가 있는 경우, Amazon S3에서는 Amazon이 Amazon S3로 데이터를 로드할 수 있도록 허용하는 데이터 전송 옵션을 제공합니다.

자세히 보기:

Amazon S3 문서: Get Started With Amazon Simple Storage Service

Amazon S3와 함께 DataStage 사용

또한 IBM® InfoSphere® DataStage®를 사용하여 데이터베이스에서 데이터를 추출하여 이를 Amazon S3 등의 플랫폼으로 이동할 수 있습니다. DataStage Designer 클라이언트에는 데이터 관리 작업의 기본 구성 요소를 형성하는 도구를 포함하는 팔레트가 있습니다.

DataStage를 사용하여 소스 데이터 오브젝트 및 대상 데이터 오브젝트를 포함하는 작업을 디자인하고 실행할 수 있습니다. 소스 데이터 오브젝트는 데이터베이스와 연관되어 있으며 추출할 테이블 이름 및 메타데이터를 지정합니다. 대상 데이터 오브젝트는 Amazon S3와 연관되어 있으며 대상 데이터를 포함하는 데이터 파일의 이름 및 위치를 지정합니다.

자세히 보기:

DataStage 문서: Designing DataStage and QualityStage® jobs

대상 테이블 작성

데이터를 데이터베이스에 로드하기 전에 데이터에 대한 대상 테이블을 작성해야 합니다. 대상 테이블 정의는 데이터 파일 내의 데이터의 구조 및 데이터 유형과 일치해야 합니다.

다음 방법 중 하나를 사용하여 대상 테이블을 작성할 수 있습니다.

Db2®가 SQL DDL문을 생성하여 사용자의 데이터를 포함하는 구분된 텍스트 파일을 기반으로 하여 테이블을 작성할 수 있도록 하십시오.
직접 SQL DDL문을 작성하여 테이블을 작성하십시오. DDL문을 작성하기 위해 특정 애플리케이션을 사용하지 않는 경우, IBM InfoSphere Data Architect를 사용할 수 있습니다. 자세한 정보는 InfoSphere Data Architect Knowledge Center에서 DDL 스크립트 생성을 참조하십시오.

Amazon S3에서 데이터 로드

Amazon S3에서 데이터를 로드하려면 다음 메소드 중 하나를 선택하십시오.

웹 콘솔에서. 로드 > Amazon S3를 선택하십시오. 웹 콘솔을 사용하여 Amazon S3에서 데이터를 로드하려면 Amazon S3를 소스로 선택하십시오. 세그먼트된 파일을 로드하는 경우, 로드할 파일을 선택할 때 연관된 명시 파일을 선택하십시오.

외부 테이블 직접. 다음은 SQL문 예입니다.

INSERT INTO <table-name> SELECT * FROM EXTERNAL '<mys3file.txt>' USING
  (CCSID 1208 s3('s3.amazonaws.com', 
  '<S3-access-key-ID>',
  '<S3-secret-access-key>', 
  '<my_bucket>'
     )
  )

향상된 성능을 위해 Db2 LOAD 명령은 또한 다음 예 명령을 사용하여 Amazon S3에서 데이터를 로드하는 데 사용할 수 있습니다.

CALL SYSPROC.ADMIN_CMD('LOAD FROM "S3::<amazon-s3-URL>::<s3-access-key-id>::<s3-secret-access-key>:
:<s3-bucket-name>::<path-to-data-file>" OF <filetype> <additional-load-options> INTO <table-name>)

다음은 Db2 LOAD 명령 사용의 예입니다.

CALL SYSPROC.ADMIN_CMD('load from "S3::s3-us-west-2.amazonaws.com::<s3-access-key-id>:
:<s3-secret-access-key>::ibm-state-store::bdidata2TB/web_site.dat" of DEL modified by codepage=1208 
coldel0x7c WARNINGCOUNT 1000 MESSAGES ON SERVER INSERT into BDINSIGHTS2.web_site ');

지원되는 명령 옵션은 LOAD 명령을 참조하십시오.