Lift CLI 如何将数据迁移到 IBM Db2 Warehouse on Cloud?

如果要从 IBM PureData System for Analytics (Netezza) 数据库迁移数据,首先需要使用“lift extract”在本地将数据库表抽取到 CSV 文件。然后,使用“lift put”将 CSV 数据文件传输到 IBM Db2 Warehouse on Cloud 装入区。IBM Db2 Warehouse on Cloud 装入区是一个预分配的卷,用于数据的加载和暂存。最后,使用“lift load”将上载的 CSV 数据文件加载到引擎中。加载完成后,可使用“lift rm”删除数据文件。

如果要迁移一组 CSV 文件,需要执行与上述操作类似的一系列步骤。首先使用“lift put”将 CSV 数据文件传输到 Db2 Warehouse on Cloud 装入区。Db2 Warehouse on Cloud 装入区是一个预分配的卷,用于数据的加载和暂存。最后,使用“lift load”将上载的 CSV 数据文件加载到引擎中。加载完成后,可使用“lift rm”删除数据文件。

对于可迁移的数据库大小是否存在最大限制?

否,可以迁移任何大小的数据库。但是请记住,数据库迁移的持续时间取决于网络连接速度、需要移动的未压缩数据量以及源计算机和目标计算机的硬件情况。换句话说,具体情况可能有所不同。

我可以迁移哪些数据库工件?

Lift CLI 可将表或 CSV 文件迁移到 IBM Cloud 数据目标。如果需要迁移其他数据库工件(如表、视图和存储过程),请使用 IBM Database Conversion Workbench。

在何处安装 CLI 软件包可获得最佳性能?

建议在网络连接靠近数据库源的机器上安装和运行 CLI,以确保延迟最短。这样可以确保数据更快地在本地环境中抽取和登台,从而缩短总体端到端数据迁移时间。

必须在本地系统上打开哪些网络端口?

必须在运行 Lift CLI 的机器上打开以下端口:

目的协议指导目标端口
Aspera TransferTCP出站互联网33001*
Aspera TransferUDP出站互联网33001*
Db2 Warehouse on Cloud SSL 保护的 JDBCTCP出站互联网50001
DB2 Warehouse on Cloud REST Load APITCP出站互联网8443
Lift 核心服务TCP出站互联网443

 

* 如果端口 33001 上以 Db2 Warehouse on Cloud 为目标的出站连接已由 Lift CLI 启动,那么会有返回的入站流量。本地端口(属于临时端口范围)将由操作系统随机选择。所有现代防火墙都是有状态的(即能够感知连接或状态),因此不需要打开任何入站端口。 

要抽取数据,有哪些本地存储容量需求?

对于 Linux 和 MacOS,最小存储容量应大于或等于最大表的磁盘占用空间(未压缩)。

对于 Windows,最小存储容量应大于或等于最大表的磁盘占用空间(未压缩)的 2 倍。

如果 Db2 Warehouse on Cloud for Analytics 装入区没有足够的磁盘空间可用于加载最大表,该怎么办?

可运行“lift df”以检查 Db2 Warehouse on Cloud for Analytics 装入区的可用磁盘空间。可运行“lift rm”以释放空间。如果仍没有足够空间,可将表拆分为多个文件块,使用“lift extract -size”选项单独上传这些文件块。

我喜欢 Lift 的高速传输,但如果我使用的是带宽有限的网络,是否可以让上传速度慢一点?

可以。可使用“lift put --max-throughput”选项,限制数据传输所使用的吞吐量。

我不想反复输入数据库凭证和其他常用选项。能否将这些内容设置为环境变量或存储某个地方以供引用?

可以。可将连接凭证设置为环境变量。还可创建属性文件,并在其中放置数据库凭证和常用选项。查看“lift help <command”以获取 Lift CLI 支持的选项列表。

能否将 IBM Lift CLI 用于 HIPAA 监管的数据?

如果客户作为数据控制方,确定技术和组织安全措施能够应对处理数据所带来的风险以及适合要保护的数据的性质,那么 IBM Lift CLI 可用于处理 HIPAA 监管的受保护健康信息。IBM Lift CLI 并不旨在处理其他法规要求所适用的数据。

如何配置 Lift 以使 CLI 能够使用 HTTP 代理?

可使用以下内容在 Lift CLI 安装 bin 目录 (<Lift CLI 安装目录>/bin) 中创建名为 lift.environment 的环境配置文件,以添加 HTTP 代理配置:

对于代理主机,使用 proxy.host =<主机名>。对于代理端口,使用 proxy.port =<端口号>。必须同时指定这两项,设置才会生效。 如果代理需要认证,那么 Lift CLI 可通过提供 proxy.user =<用户名> 和 proxy.password =<密码>,在 CONNECT 请求中使用基本认证。 必须同时指定这两项,认证设置才会生效。

<Lift CLI 安装目录>/bin/lift.environment 内容的示例(每个属性一行):

proxy.host =myproxy.host

proxy.port =3029

proxy.user =myproxyuser

proxy.password =proxypassword

如何将新的 X509 证书添加到 Lift CLI 的可信证书列表中?

可使用以下内容在 Lift CLI 安装 bin 目录 (<Lift CLI 安装目录>/bin) 中创建名为 lift.environment 的环境属性文件,以将要导入的 X509 证书添加到可信证书库。

对于代理主机,使用 proxy.certificate.path =<X509 证书文件的标准路径>。

证书将使用别名 ibm-lift-imported-proxy-cert 进行添加。如果别名已存在,那么不会导入该文件,必须手动将证书移除,然后再次运行 CLI。可使用 <Lift CLI 安装目录>/jre/lib/security/cacerts 中的 Java keytool 移除证书 (keytool -delete -alias ibm-lift -proxy -cert -keystore <Lift CLI 安装目录>/jre/lib/security/cacerts -storepass changeit)。

Lift CLI 能否直接安装到 PureData System for Analytics 中?

可以,Lift CLI 可以安装在 PureData System for Analytics 上,但必须连接额外的存储容量,才能提供抽取的数据所需的足够登台磁盘空间。

为 PureData System for Analytics 连接和配置额外存储容量的最佳实践是什么?

以下技术说明提供了在 PureData Systems for Analytics 上安装 SAN/NFS 系统的步骤。 还包括为 PureData System for Analytics 连接和配置额外存储容量的最佳实践。

1. 将 SAN 存储器添加到 PureData Systems for Analytics:http://www.ibm.com/support/docview.wss?uid=swg21700900

2. IBM PureData System for Analytics 在设备上安装 NFS:http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933

3. 在 PureData for Analytics 系统上安装 NFS 文件系统:http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589

如果要使用 IBM PureData System for Analytics 源,那么应在本地系统中的哪个部分安装 Lift CLI?

为 PureData System for Analytics 源安装 Lift CLI 时,请在“注入”系统(用于将数据登台以加载到 PureData System for Analytics 数据库的系统)上安装 Lift CLI。该系统将与 PureData System for Analytics 建立有效连接,并拥有大量用于数据登台的磁盘空间。但是,如果注入系统已装满,请在类似系统上安装 Lift CLI,该系统应具有同样的连接和足够的登台磁盘空间。

如果要使用 IBM PureData System for Analytics 作为源,那么在哪里安装 Lift CLI 可实现最佳吞吐量?

我们强烈建议在 Linux 机器上安装 Lift CLI。如果 Lift CLI 安装在 Linux 机器上,可通过高速卸载工具完成从 PureData System for Analytics 源的数据抽取。 如果源为 PureData System for Analytics,在 Linux 上安装 Lift CLI 可显着提高总体吞吐量。

如果要使用 IBM Db2 for Linux, UNIX and Windows 作为源,那么在哪里安装 Lift CLI 可实现最佳吞吐量?

我们强烈建议在安装了 Db2 客户端的 Linux 机器上安装 Lift CLI。在具有 Db2 客户端的 Linux 机器上安装 Lift CLI 可显着提高总体吞吐量。如果 Lift CLI 无法检测到 Db2 客户端,则会使用不同的抽取策略,您可能会注意抽取吞吐量下降。如果安装 Lift CLI 时机器上没有 Db2 客户端,控制台上会显示消息“Lift 将以亚光速抽取数据。可通过安装和配置 Db2 客户端提高抽取性能。要了解更多信息,请访问 http://ibm.biz/BdZcFp。”(链接位于 IBM 外部)

要在从 IBM Db2 for Linux, UNIX and Windows 抽取数据时实现更好的性能,对于 Db2 客户端有何要求?

Lift CLI 使用 Db2 客户端的先决条件:

1. 必须在 PATH 命令中包含 db2 (for Linux) 或 db2cmd (for Windows) 命令。

  • Linux:在执行 Lift CLI 之前,必须将 <INSTANCE_OWNER_HOME>/sqllib/db2profile 应用于环境
  • Windows:必须将 Db2 客户端设置为默认实例

2. 如果从 IBM Db2 for Linux, UNIX and Windows 服务器远程运行 Lift CLI,那么必须将操作系统用户包含在 Db2 客户端实例的 SYSADM 组中。

3. Db2 客户端的版本不能低于 IBM Db2 for Linux, UNIX and Windows 服务器的版本。

能否从 Db2 源数据库迁移包含隐藏列的表?

可以。Lift CLI 支持抽取隐藏列。默认情况下,隐藏列不包含在抽取的 CSV 文件中。如果要在抽取的数据中包含隐藏列,可使用列选择选项,显式指定所有列名以及隐藏列的名称。有关列选择选项的更多信息,请参阅“lift extract –help”。

要在从 Oracle Server 抽取数据时实现更好的性能,对于 Oracle 客户端有何要求?

以下是 Lift CLI 使用 Oracle 客户端的先决条件:

1. 安装 Oracle 客户端的基本模块和工具模块。

2. 确保将 exp 程序路径添加到 PATH 环境变量中。

3. 根据环境,可能需要将 Oracle 客户端库路径添加到操作系统库路径(例如 LD_LIBRARY_PATH)。

4. Oracle 客户端版本不能低于 Oracle 服务器的版本。

注:不需要从 Oracle 客户端预先配置源数据库连接。

能否迁移具有国际字符(包含多字节字符集)的表?

可以。Lift CLI 使用 UTF-8 代码页,支持从常用的 Oracle 字符集进行数据转换。

以下是受支持的 Oracle 数据库字符集 (NLS_CHARACTERSET) 的列表:

AL32UTF8、AR8ISO8859P6、AR8MSWIN1256、BLT8ISO8859P13、BLT8MSWIN1257、CL8ISO8859P5、CL8MSWIN1251、EE8ISO8859P2、EE8MSWIN1250、EL8ISO8859P7、EL8MSWIN1253、IW8ISO8859P8、IW8MSWIN1255、JA16EUC、JA16EUCTILDE、JA16SJIS、JA16SJISTILDE、KO16MSWIN949、NEE8ISO8859P4、TH8TISASCII、TR8MSWIN1254、VN8MSWIN1258、WE8ISO8859P15、WE8ISO8859P9、WE8MSWIN1252、ZHS16GBK、ZHT16HKSCS、ZHT16MSWIN950、ZHT32EUC、ALE16UTF16

可使用以下 SQL 查询来确定源 Oracle 数据库的字符集:

Select property_value from Database_properties where property_name = 'nls_characterset';

我已在 Lift CLI 机器上配置 Oracle 客户端,但 Lift CLI 显示一条消息“Lift 将以亚光速提取数据。 源表包含的数据类型导致 Lift 抽取数据的速度降低。”为什么无法以更快的速度抽取数据?

如果源表具有以下任何数据类型,那么 Lift CLI 将使用降级模式:

BINARY_FLOAT、BINARY_DOUBLE、LOB、BLOB、CLOB、BFILE、XML、ROWID 和 UROWID

每个表都会单独进行求值。这种降级模式仅影响当前表抽取操作,因为当前表中存在受影响的数据类型。

是否需要设置 Microsoft SQL Server Tools 或客户端才能使用 Lift CLI?

否。Lift CLI 不需要设置任何其他工具即可进行数据迁移。

IBM Lift 入门

只需几分钟即可开始数据迁移。

IBM 在您身边,助您开启数字化转型,问鼎行业翘楚