Lift CLI 如何將我的資料移轉至 IBM Db2 Warehouse on Cloud?

如果是從 IBM PureData System for Analytics (Netezza) 資料庫移轉資料,那麼首先要使用「lift 擷取」將資料庫表格從本機擷取至 CSV 檔案。 然後再使用「lift 置入」將 CSV 資料檔案傳輸至 IBM Db2 Warehouse on Cloud 登入區。IBM Db2 Warehouse on Cloud登入區是一個預先配置的磁區,用於資料載入及暫存。最後則是使用「lift 載入」將上傳的 CSV 資料檔案載入至引擎中。載入完成之後,您可以使用「lift rm」來刪除資料檔案。

如果要移轉一組 CSV 檔案,請按照類似上方的步驟即可。請先使用「lift 置入」將 CSV 資料檔案傳輸至 Db2 Warehouse on Cloud 登入區。Db2 Warehouse on Cloud 登入區是一個預先配置的磁區,用於資料載入及暫存。最後則是使用「lift 載入」將上傳的 CSV 資料檔案載入至引擎中。載入完成之後,您可以使用「lift rm」來刪除資料檔案。

資料庫有沒有移轉大小上限?

沒有,您可以移轉任何大小的資料庫。但是請記住,資料庫移轉的持續時間取決於網路連線速度、所要移動的未壓縮資料磁區,以及來源電腦和目標電腦的硬體設定檔。也就是說,所花費時間可能各不相同。

我可以移轉哪些資料庫構件?

Lift CLI 會將表格或 CSV 檔案移轉至 IBM Cloud 資料目標。如果您要移轉其他資料庫構件(例如表格、視圖、儲存程序),請使用 IBM Database Conversion Workbench。

我要在何處安裝 CLI 套件才能取得最佳效能?

建議您安裝並執行 CLI 是在與資料庫來源相近網路(最小延遲)的機器上。這樣就能確保在內部部署環境中能更快擷取並暫置資料,加快整體端對端資料移轉時間。

我的內部部署系統上必須開啟哪些網路埠?

下列連接埠必須在執行 Lift CLI 的機器上開啟:

用途通訊協議方向目的地連接埠
Aspera TransferTCP出埠網際網路33001*
Aspera TransferUDP出埠網際網路33001*
Db2 Warehouse on Cloud SSL - 安全的 JDBCTCP出埠網際網路50001
DB2 Warehouse on Cloud REST Load APITCP出埠網際網路8443
Lift 核心服務TCP出埠網際網路443

 

*當出埠連線由 Lift CLI 起始至連接埠 33001 上的 Db2 Warehouse on Cloud 叢集時,就會傳回送入的資料流量。本機連接埠將會是暫時埠範圍內的一個連接埠,由作業系統隨機選擇。所有現代防火牆都是有狀態的(或連線感知或狀態感知),預計不需要開啟任何入埠連接埠。 

若要擷取我的資料,內部部署儲存體的需求為何?

若是 Linux 和 MacOS,最小儲存體應該大於或等於最大表格的磁碟上表示法(未壓縮)。

若是 Windows,最小儲存體應該大於或等於最大表格磁碟上表示法(未壓縮)的 2 倍。

如果 Db2 Warehouse on Cloud for Analytics 登入區上沒有足夠的磁碟空間能符合我的最大表格,該怎麼辦?

您可以執行「lift df」,檢查 Db2 Warehouse on Cloud for Analytics 登入區上可用的磁碟空間。您可以執行「lift rm」以釋放空間。如果仍然沒有足夠的空間,則可將表格分割成多個檔案區塊,並使用「lift 擷取 – 大」選項個別上傳這些表格。

我喜歡 Lift 的疾速,但如果在頻寬有限的網路上,能否放慢上傳速度?

當然可以。您可以使用「lift 置入 -- 傳輸量上限」選項,限制資料傳輸所使用的傳輸量。

我不想繼續輸入資料庫認證和其他常用選項,可否將這些設定為環境變數或儲存到某處供參考?

可以。您可以將連線認證設定為環境變數。也可以建立內容檔,並將資料庫認證和常用選項置於其中。請參考「lift 說明 < 指令」,查看 Lift CLI 支援的選項清單。

我能否使用 IBM Lift CLI 來處理受 HIPAA 管制的資料?

如果「客戶」身為資料控制者,確定技術及組織安全措施適用於處理所呈現的風險,以及要保護資料的性質,那麼就可以使用 IBM Lift CLI 來處理受 HIPAA 管制的「受保護的健康資訊」。IBM Lift CLI 並非用來處理適用其他法規需求的資料。

如何將 Lift 配置到 CLI 以適用於 HTTP Proxy?

位於 Lift CLI 安裝 bin 目錄中 (<Lift CLI install dir>/bin) 名為 lift.environment 的環境配置檔,可以使用下列內容建立以新增 HTTP Proxy 配置:

若是 Proxy 主機,請使用 proxy.host =<hostname>。若是 Proxy 埠,請使用 proxy.port =<port number>。兩者必須同時指定,才能讓設定生效。如果 Proxy 需要鑑別,則 Lift CLI 會透過提供 proxy.user =<user> 和 proxy.password =<password>,在連線要求中使用基本鑑別。兩者必須同時指定,才能讓鑑別設定生效。

<Lift CLI install dir>/bin/lift.environment 內容範例(各個內容位於新行上):

proxy.host =myproxy.host

proxy.port =3029

proxy.user =myproxyuser

proxy.password =proxypassword

如何將新的 X509 憑證加到 Lift CLI 的信任憑證清單中?

位於 Lift CLI 安裝 bin 目錄中 (<Lift CLI install dir>/bin) 名為 lift.environment 的環境內容檔,可以使用下列內容建立以新增要匯入至信任儲存庫的 X509 憑證。

若是 Proxy 主機,請使用 proxy.certificate.path =<fully qualified path to the X509 certificate file>。

憑證會以 ibm-lift-imported-proxy-cert 別名來新增。如果別名已存在,就不會匯入檔案,且必須在重新執行 CLI 之前手動移除該檔案。您可以使用 <Lift CLI install dir>/jre/lib/security/cacerts(亦即 keytool -delete -alias ibm-lift-imported-proxy-cert -keystore <Lift CLI install dir>/jre/lib/security/cacerts -storepass changeit)中 Lift CLI Java 信任儲存庫上的 Java keytool 移除該憑證。

Lift CLI 能否直接安裝在 PureData System for Analytics 上?

可以,PureData System for Analytics 上可以直接安裝 Lift CLI,但必須連接其他儲存體,才能提供所擷取資料足夠的暫置磁碟空間。

附加和配置 PureData System for Analytics 額外儲存體的最佳作法是什麼?

下列 TechNotes 提供在 PureData Systems for Analytics 上裝載 SAN/ NFS 系統的步驟。其中還包括連接及配置 PureData System for Analytics 額外儲存體的最佳作法。

1. 將 SAN Storage 加到 PureData Systems for Analytics:http://www.ibm.com/support/docview.wss?uid=swg21700900

2. IBM PureData System for Analytics Mounting NFS 在軟體驅動裝置上:http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933

3. 在 PureData for Analytics 系統上裝載 NFS 檔案系統:http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589

如果我使用 IBM PureData System for Analytics 來源,那麼我應該在內部部署系統的哪一部分安裝 Lift CLI?

當您安裝 PureData System for Analytics 來源的 Lift CLI 時,請在「注入」系統(用來暫置資料以載入至 PureData System for Analytics 資料庫的系統)上安裝 Lift CLI。該系統與 PureData System for Analytics 連線良好,且擁有大量磁碟空間可用於暫置資料。不過,如果注入系統已完全載滿,那麼請在以類似方式連接並擁有大量暫置磁碟空間的類似系統上安裝 Lift CLI。

如果我使用 IBM PureData System for Analytics 作為來源,應在何處安裝 Lift CLI 才能達到最佳傳輸量?

強烈建議您在 Linux 機器上安裝 Lift CLI。當 Lift CLI 安裝在 Linux 機器上時,就會使用高速卸載設備從 PureData System for Analytics 來源擷取資料。當來源是 PureData System for Analytics 時,在 Linux 上安裝 Lift CLI 可大幅提高整體傳輸量。

如果我使用 IBM Db2 for Linux UNIX and Windows 作為來源,應該在何處安裝 Lift CLI 才能達到最佳傳輸量?

強烈建議您在安裝了 Db2 用戶端的 Linux 機器上安裝 Lift CLI。在安裝了 Db2 用戶端的 Linux 機器上安裝 Lift CLI 能大幅提升整體傳輸量。當 Lift CLI 無法偵測 Db2 用戶端時,就會使用不同的擷取策略,而您可能會發現擷取的傳輸量降低。主控台上的「Lift 正在以次光速擷取資料,您可以安裝及配置 Db2 用戶端來提高擷取速度。如需相關資訊,請造訪 http://ibm.biz/BdZcFp(IBM 外部鏈結)」訊息,會在 Db2 用戶端無法在安裝 Lift CLI 的機器上使用時列印出來。

若要從效能較佳的 IBM Db2 for Linux UNIX and Windows 中擷取我的資料,那麼 Db2 用戶端需求為何?

Lift CLI 使用 Db2 用戶端的必要條件:

1. db2(用於 Linux)或 db2cmd(用於 Windows)指令必須在 PATH 中可用。

  • Linux:在執行 Lift CLI 之前,<INSTANCE_OWNER_HOME>/sqllib/db2profile 必須套用至環境
  • Windows:Db2 用戶端必須設為預設實例

2. 如果是從 IBM Db2 for Linux UNIX and Windows 伺服器上遠端執行 Lift CLI,那麼作業系統使用者必須包含在 Db2 用戶端實例的 SYSADM 群組中。

3. Db2 用戶端的版本必須與 IBM Db2 for Linux UNIX and Windows 伺服器的版本相同或更高。

我能否從 Db2 來源資料庫移轉具有隱藏直欄的表格?

可以。Lift CLI 支援擷取隱藏的直欄。依預設,隱藏的直欄不包含在擷取的 CSV 檔案中。如果您要將隱藏的直欄包含在擷取的資料中,請使用直欄選擇選項,明確地指定所有直欄名稱以及隱藏的直欄名稱。如需直欄選擇選項的相關資訊,請參閱「lift 擷取 - 說明」。

若要從效能較佳的 Oracle Server 中擷取我的資料,那麼 Oracle 用戶端需求為何?

下列是 Lift CLI 使用 Oracle 用戶端的必要條件:

1. 安裝 Oracle 用戶端的基本及工具模組。

2. 請確定 exp 程式路徑已加到 PATH 環境變數。

3. 視您的環境而定,可能需要將 Oracle 用戶端程式庫路徑加到作業系統程式庫路徑(例如,LD_LIBRARY_PATH)中。

4. Oracle 用戶端版本必須與 Oracle 伺服器版本相同或更新。

附註:您不需要從 Oracle 用戶端預先配置來源資料庫連線。

我能否移轉包含多位元組字集的國際字元表格?

可以。Lift CLI 會使用 UTF-8 字碼頁,並支援從常用 Oracle 字集轉換資料。

下列是支援的 Oracle 資料庫字集 (NLS_CHARACTERSET) 清單:

AL32UTF8、AR8ISO8859P6、AR8MSWIN1256、BLT8ISO8859P13、BLT8MSWIN1257、CL8ISO8859P5、CL8MSWIN1251、EE8ISO8859P2、EE8MSWIN1250、EL8ISO8859P7、EL8MSWIN1253、IW8ISO8859P8、IW8MSWIN1255、JA16EUC、JA16EUCTILDE、JA16SJIS、JA16SJISTILDE、KO16MSWIN949、NEE8ISO8859P4、TH8TISASCII、TR8MSWIN1254、VN8MSWIN1258、WE8ISO8859P15、WE8ISO8859P9、WE8MSWIN1252、ZHS16GBK、ZHT16HKSCS、ZHT16MSWIN950、ZHT32EUC、ALE16UTF16

您可以使用下列 SQL 查詢來判斷來源 Oracle 資料庫的字集:

SELECT PROPERTY_VALUE FROM DATABASE_PROPERTIES WHERE PROPERTY_NAME = 'NLS_CHARACTERSET';

Oracle 用戶端已配置在我的 Lift CLI 機器上,但是 Lift CLI 會顯示「Lift 正在以次光速擷取資料,來源表格包含的資料類型會 Lift 可擷取資料的速度。」的訊息,為何我無法以更快的速度擷取資料?

如果來源表格具有下列任何資料類型,那麼 Lift CLI 就會使用降級模式:

BINARY_FLOAT、BINARY_DOUBLE、LOB、BLOB、CLOB、BFILE、XML、ROWID、UROWID

每個表格會分別進行評估。由於出現受影響的資料類型,這個降級模式只會影響目前的表格擷取作業。

我是否需要設定 Microsoft SQL Server Tools 或用戶端才能使用 Lift CLI?

不用。Lift CLI 不需要額外安裝任何其他工具即可移轉資料。

開始使用 IBM Lift

幾分鐘內即可開始使用資料移轉。