Lift CLI는 내 데이터를 어떻게 IBM Db2 Warehouse on Cloud로 마이그레이션하나요?

IBM PureData System for Analytics(Netezza) 데이터베이스의 데이터를 마이그레이션하는 경우에는 우선 "lift extract"를 사용하여 로컬로 데이터베이스 테이블을 CSV 파일로 추출해야 합니다. 그 다음에는 "lift put"을 사용하여 CSV 데이터 파일을 IBM Db2 Warehouse on Cloud 랜딩 구역으로 전송합니다. IBM Db2 Warehouse on Cloud 랜딩 구역은 데이터 로딩과 스크래치에 사용되는 사전 할당된 볼륨입니다. 마지막으로는, "lift load"를 사용하여 업로드된 CSV 데이터 파일을 엔진에 로드합니다. 일단 로드가 완료되면 "lift rm"을 사용하여 데이터 파일을 삭제할 수 있습니다.

CSV 파일 세트를 마이그레이션하는 경우에는 위와 유사한 단계 세트를 수행합니다. "lift put"을 사용하여 CSV 데이터 파일을 Db2 Warehouse on Cloud 랜딩 구역에 전송하여 시작합니다. Db2 Warehouse on Cloud 랜딩 구역은 데이터 로딩과 스크래치에 사용되는 사전 할당된 볼륨입니다. 마지막으로는, "lift load"를 사용하여 업로드된 CSV 데이터 파일을 엔진에 로드합니다. 일단 로드가 완료되면 "lift rm"을 사용하여 데이터 파일을 삭제할 수 있습니다.

내가 마이그레이션할 수 있는 최대 데이터베이스 크기가 있나요?

아니요, 어떤 크기의 데이터베이스든지 마이그레이션할 수 있습니다. 그러나 데이터베이스 마이그레이션의 지속 시간은 네트워크 연결 속도, 이동해야 할 비압축 데이터의 볼륨 및 소스와 대상 컴퓨터의 하드웨어 프로파일에 따라 다를 수 있음을 유념하세요. 다시 말하면, 소요되는 시간은 다를 수 있습니다.

어떤 데이터베이스 아티팩트를 마이그레이션할 수 있나요?

Lift CLI는 테이블 또는 CSV 파일을 IBM Cloud 데이터 대상으로 마이그레이션합니다. 테이블, 뷰, 스토어드 프로시저 등의 기타 데이터베이스 아티팩트를 마이그레이션해야 하는 경우에는 IBM Database Conversion Workbench를 사용하세요.

최상의 성능을 얻으려면 내 CLI 패키지를 어디에 설치해야 하나요?

데이터베이스 소스 대비 네트워크와 인접(최소 대기 시간)한 시스템에서 CLI를 설치하여 실행하도록 권장합니다. 그러면 온프레미스 환경에서 데이터의 추출 및 스테이징이 보다 빨라질 수 있도록 보장되며, 전체 엔드-투-엔드 데이터 마이그레이션 시간이 개선됩니다.

내 온프레미스 시스템에서는 어떤 네트워크 포트를 열어야 하나요?

Lift CLI를 실행 중인 시스템에서 다음 포트를 열어야 합니다.

용도프로토콜방향도착지Port
Aspera TransferTCP아웃바운드인터넷33001*
Aspera TransferUDP아웃바운드인터넷33001*
Db2 Warehouse on Cloud SSL 보안 JDBCTCP아웃바운드인터넷50001
DB2 Warehouse on Cloud REST 로드 APITCP아웃바운드인터넷8443
Lift 코어 서비스TCP아웃바운드인터넷443

 

*포트 33001의 Db2 Warehouse on Cloud 방향으로 Lift CLI에 의해 아웃바운드 연결이 시작된 경우에는 수신되는 리턴된 트래픽이 존재합니다. 임시적인 포트 범위에 있게 될 로컬 포트는 운영 체제에 의해 무작위로 선정됩니다. 모든 최신의 방화벽은 stateful(또는 연결 인식 또는 상태 인식)이며, 임의의 인바운드 포트를 열어야 할 필요성이 없을 것으로 예상됩니다.  

내 데이터를 추출하기 위한 온프레미스 스토리지 요구사항은 무엇인가요?

Linux 및 MacOS의 경우, 최소 스토리지는 가장 큰 테이블(비압축)의 온디스크 표시보다 크거나 같아야 합니다.

Windows의 경우, 최소 스토리지는 가장 큰 테이블(비압축)의 온디스크 표현보다 2배 이상이거나 같아야 합니다.

내 가장 큰 테이블에 맞출 수 있을 만큼 Db2 Warehouse on Cloud for Analytics 랜딩 구역에 충분한 디스크 공간이 없으면 어떻게 하나요?

"lift df"를 실행함으로써 Db2 Warehouse on Cloud for Analytics 랜딩 구역의 사용 가능한 디스크 공간을 확인할 수 있습니다. "lift rm"을 사용하여 여유 공간을 만들 수 있습니다. 그래도 여전히 여유 공간이 없는 경우에는 해당 테이블을 여러 개의 파일 청크로 분할한 후 "lift extract –size" 옵션을 사용하여 이를 개별적으로 업로드할 수 있습니다.

Lift의 매우 빠른 속도는 정말 마음에 듭니다. 하지만 내가 대역폭이 제한된 네트워크에 있는 경우 내 업로드 속도를 늦출 수 있나요?

예. "lift put --max-throughput" 옵션을 사용하여 데이터 전송에서 이용하는 처리량을 제한할 수 있습니다.

내 데이터베이스 신임 정보와 기타 공통 옵션을 매번 입력하고 싶지 않습니다. 이를 환경 변수로 설정하거나, 참조할 수 있도록 어딘가에 저장할 수 있나요?

예. 연결 신임 정보를 환경 변수로 설정할 수 있습니다. 또한 특성 파일을 작성한 후 데이터베이스 신임 정보와 공통 옵션을 이 파일에 기록할 수도 있습니다. "lift help <command"를 둘러보면 Lift CLI에서 지원하는 옵션들의 목록을 볼 수 있습니다.

HIPAA에서 규정된 데이터의 경우 IBM Lift CLI를 사용할 수 있나요?

데이터 제어기로서 클라이언트가 기술적 및 조직의 보안 수단이 보호를 받는 데이터의 특성과 처리에서 제시하는 위험에 적합하다고 판단하는 경우 IBM Lift CLI를 사용하여 HIPAA에서 규정된 "Protected Health Information"을 처리할 수 있습니다. IBM Lift CLI는 추가적인 규정 요구사항이 적용되는 데이터를 처리하도록 설계되어 있지 않습니다.

HTTP 프록시 관련 작업을 위해 CLI에 Lift를 구성하는 방법은 무엇인가요?

Lift CLI 설치 bin 디렉토리(<Lift CLI install dir>/bin)에 있는 lift.environment라고 하는 환경 구성 파일은 HTTP 프록시 구성을 추가할 수 있도록 다음 콘텐츠로 작성될 수 있습니다.

프록시 호스트의 경우에는 proxy.host =<hostname>을 사용하세요. 프록시 포트의 경우에는 proxy.port =<port number>를 사용하세요. 설정을 적용하려면 둘 모두 지정해야 합니다. 프록시에서 인증이 필요한 경우, Lift CLI는 proxy.user =<user> 및 proxy.password =<password>를 제공하여 CONNECT 요청에서 기본 인증을 사용합니다. 인증 설정을 적용하려면 둘 모두 지정해야 합니다.

<Lift CLI install dir>/bin/lift.environment 콘텐츠의 예제(각 특성은 새 라인에 있음):

proxy.host =myproxy.host

proxy.port =3029

proxy.user =myproxyuser

proxy.password =proxypassword

Lift CLI에 대한 신뢰할 수 있는 인증서의 목록에 새 X509 인증서를 어떻게 추가할 수 있나요?

Lift CLI 설치 bin 디렉토리(<Lift CLI install dir>/bin)에 있는 lift.environment라고 하는 환경 특성 파일은 신뢰 저장소로 가져올 X509 인증서를 추가할 수 있도록 다음 콘텐츠로 작성될 수 있습니다.

프록시 호스트의 경우에는 proxy.certificate.path =<fully qualified path to the X509 certificate file>을 사용하세요.

인증서는 별명 ibm-lift-imported-proxy-cert으로 추가됩니다. 별명이 이미 존재하는 경우에는 파일을 가져오지 않으며, CLI를 다시 실행하기 전에 해당 파일을 수동으로 제거해야 합니다. <Lift CLI install dir>/jre/lib/security/cacerts의 Lift CLI Java 신뢰 저장소에서 Java keytool을 사용하여 인증서를 제거할 수 있습니다(예: keytool -delete -alias ibm-lift-imported-proxy-cert -keystore <Lift CLI install dir>/jre/lib/security/cacerts -storepass changeit).

Lift CLI를 PureData System for Analytics에 직접 설치할 수 있나요?

예, Lift CLI를 PureData System for Analytics에 설치할 수 있습니다. 하지만 추출된 데이터에 충분한 스테이징 디스크 공간을 제공하려면 추가 스토리지를 연결해야 합니다.

PureData System for Analytics의 추가 스토리지를 연결 및 구성하기 위한 우수 사례는 무엇인가요?

다음의 기술 노트는 PureData Systems for Analytics에 SAN/NFS 시스템을 마운트하는 단계를 제공합니다. 여기에는 PureData System for Analytics의 추가 스토리지를 부착 및 구성하기 위한 우수 사례도 포함되어 있습니다.

1. PureData Systems for Analytics에 SAN 스토리지 추가: http://www.ibm.com/support/docview.wss?uid=swg21700900

2. 어플라이언스의 IBM PureData System for Analytics Mounting NFS: http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933

3. PureData for Analytics 시스템에 NFS 파일 시스템 마운트: http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589

IBM PureData System for Analytics 소스를 사용 중인 경우에는 내 온프레미스 시스템의 어떤 파트에 Lift CLI를 설치해야 하나요?

PureData System for Analytics 소스의 Lift CLI를 설치하는 경우에는 "인젝션" 시스템(PureData System for Analytics 데이터베이스에 로드할 데이터의 스테이징에 사용되는 시스템)에 Lift CLI를 설치하세요. 해당 시스템은 PureData System for Analytics에 대한 연결성이 뛰어나며, 데이터를 스테이징하기 위한 충분한 디스크 공간을 보유합니다. 그러나 인젝션 시스템이 이미 완전히 로드된 경우에는 유사하게 연결이 되었으며 충분한 스테이징 디스크 공간을 보유한 유사 시스템에 Lift CLI를 설치하세요.

내 소스로서 IBM PureData System for Analytics를 사용 중인 경우, 최상의 처리량을 얻으려면 Lift CLI를 어디에 설치해야 하나요?

Linux 시스템에 Lift CLI를 설치하도록 적극 권장합니다. Lift CLI가 Linux 시스템에 설치되어 있는 경우, PureData System for Analytics 소스에서의 데이터 추출은 고속 언로드 기능을 통해 이루어집니다. 자신의 소스가 PureData System for Analytics인 경우에는 상당히 우수한 전체 처리량을 얻을 수 있도록 Linux에 Lift CLI를 설치하세요.

내 소스로서 Linux UNIX 및 Windows용 IBM Db2를 사용 중인 경우, 최상의 처리량을 얻으려면 Lift CLI를 어디에 설치해야 하나요?

Db2 클라이언트가 설치된 Linux 시스템에 Lift CLI를 설치하도록 적극 권장합니다. Db2 클라이언트가 있는 Linux 시스템에 Lift CLI를 설치하면 전체 처리량이 상당히 개선됩니다. Lift CLI가 Db2 클라이언트를 감지하는 데 실패한 경우에는 다른 추출 전략이 사용되며, 사용자는 추출 처리량이 감소되었음을 느낄 수 있습니다. 콘솔의 메시지 "Lift는 거의 빛의 속도로 데이터를 추출합니다. Db2 클라이언트를 설치 및 구성하여 추출 시간을 개선할 수 있습니다. "자세한 정보는 http://ibm.biz/BdZcFp를 참조하세요. (IBM 외부 링크)"는 Lift CLI가 설치된 시스템에서 Db2 클라이언트를 사용할 수 없을 때 출력됩니다.

보다 우수한 성능으로 Linux UNIX 및 Windows용 IBM Db2에서 내 데이터를 추출하기 위한 Db2 클라이언트 요구사항은 무엇인가요?

Db2 클라이언트를 사용하기 위한 Lift CLI의 전제조건은 다음과 같습니다.

1. db2(Linux의 경우) 또는 db2cmd(Windows의 경우) 명령이 PATH에서 사용 가능해야 합니다.

  • Linux: Lift CLI를 실행하기 전에 <INSTANCE_OWNER_HOME>/sqllib/db2profile을 환경에 적용해야 함
  • Windows: Db2 클라이언트를 기본 인스턴스로 설정해야 함

2. Lift CLI가 Linux UNIX 및 Windows 서버용 IBM Db2에서 원격으로 실행되는 경우, OS 사용자는 Db2 클라이언트 인스턴스의 SYSADM 그룹에 포함되어야 합니다.

3. Db2 클라이언트의 버전은 Linux UNIX 및 Windows 서버용 IBM Db2 버전 이상이어야 합니다.

Db2 소스 데이터베이스로부터 숨겨진 열이 있는 테이블을 내가 마이그레이션할 수 있나요?

예. 숨겨진 열의 추출은 Lift CLI에서 지원됩니다. 기본적으로, 숨겨진 열은 추출된 CSV 파일에는 포함되지 않습니다. 숨겨진 열을 추출된 데이터에 포함하려면, 열 선택 옵션을 사용하여 숨겨진 열 이름과 함께 모든 열 이름을 명시적으로 지정하세요. 열 선택 옵션에 대한 자세한 정보는 "lift extract –help"를 참조하세요.

보다 우수한 성능으로 Oracle Server에서 내 데이터를 추출하기 위한 Oracle 클라이언트 요구사항은 무엇인가요?

Oracle 클라이언트를 사용하기 위한 Lift CLI의 전제조건:

1. Oracle 클라이언트의 기본 및 툴 모듈을 설치하세요.

2. exp 프로그램 경로가 PATH 환경 변수에 추가되었는지 확인하세요.

3. 자체 환경에 따라서는 운영 체제 라이브러리 경로(예: LD_LIBRARY_PATH)에 Oracle 클라이언트 라이브러리 경로를 추가해야 할 수도 있습니다.

4. Oracle 클라이언트 버전은 Oracle 서버 버전 이상이어야 합니다.

참고: Oracle 클라이언트에서 소스 데이터베이스 연결을 사전 구성할 필요는 없습니다.

멀티-바이트 문자 세트가 포함된 국제 문자가 있는 테이블을 내가 마이그레이션할 수 있나요?

예. Lift CLI는 UTF-8 코드 페이지를 사용하며, 일반적으로 사용되는 Oracle 문자 세트에서의 데이터 변환을 지원합니다.

지원되는 Oracle 데이터베이스 문자 세트(NLS_CHARACTERSET)의 목록:

AL32UTF8, AR8ISO8859P6, AR8MSWIN1256, BLT8ISO8859P13, BLT8MSWIN1257, CL8ISO8859P5, CL8MSWIN1251, EE8ISO8859P2, EE8MSWIN1250, EL8ISO8859P7, EL8MSWIN1253, IW8ISO8859P8, IW8MSWIN1255, JA16EUC, JA16EUCTILDE, JA16SJIS, JA16SJISTILDE, KO16MSWIN949, NEE8ISO8859P4, TH8TISASCII, TR8MSWIN1254, VN8MSWIN1258, WE8ISO8859P15, WE8ISO8859P9, WE8MSWIN1252, ZHS16GBK, ZHT16HKSCS, ZHT16MSWIN950, ZHT32EUC, ALE16UTF16

다음의 SQL 조회를 사용하여 소스 Oracle 데이터베이스의 문자 세트를 판별할 수 있습니다.

SELECT PROPERTY_VALUE FROM DATABASE_PROPERTIES WHERE PROPERTY_NAME = 'NLS_CHARACTERSET';

Oracle 클라이언트가 내 Lift CLI 시스템에서 구성되었지만, Lift CLI는 "Lift는 거의 빛의 속도로 데이터를 추출합니다. 소스 테이블에 Lift가 데이터를 추출할 수 있는 속도를 낮추는 데이터 유형이 포함되어 있습니다." 등의 메시지를 표시합니다. 왜 내가 보다 빠른 속도로 데이터를 추출할 수 없나요?

소스 테이블에 다음의 데이터 유형이 있는 경우 Lift CLI는 성능이 저하된 모드를 사용합니다.

BINARY_FLOAT, BINARY_DOUBLE, LOB, BLOB, CLOB, BFILE, XML, ROWID, UROWID

각 테이블은 개별적으로 평가됩니다. 이 성능이 저하된 모드는 영향을 받는 데이터 유형이 존재하기 때문에 현재 테이블 추출 조작에만 영향을 줍니다.

Lift CLI를 사용하려면 Microsoft SQL Server Tools 또는 클라이언트를 셋업해야 하나요?

아니요. Lift CLI는 데이터 마이그레이션용 툴의 기타 추가적인 셋업을 요구하지 않습니다.

IBM Lift로 시작하기

즉시 데이터 마이그레이션을 시작하세요.