将整个数据库迁移到 IBM Cloud。这是一个两步式流程:转换模式和迁移数据。如需转换模式,请首先下载 IBM Database Conversion Workbench。该工作台将引导您完成转换源数据库 DDL 的过程,以便它与目标兼容。该工作台还会生成一份报告,告诉您需要采取行动的位置。模式就位后,您将使用 Lift CLI 迁移数据。
首先生成一组 CSV 文件,这些文件代表每个数据库表的增量更改。使用 Lift CLI 获取这些 CSV 文件,通过网络进行推送,然后将文件导入 IBM® Db2® Warehouse on Cloud。将这些步骤放入脚本中,设置一个 cron 作业,然后就可以对数据仓库进行持续的增量更新。
可以使用 Lift CLI 将数据从多个不同的数据库或数据源迁移到单个 IBM Db2 Warehouse on Cloud MPP 集群中。借助 Lift,可以灵活地从多个数据源获取表并将其导入 IBM Db2 Warehouse on Cloud 中的单个模式下,以便可以停用现有数据库集群。
客户并不会介意是否需要分析他们的购买行为。他们只是想要快速的用户体验。启动云数据仓库(例如 IBM Db2 Warehouse on Cloud),对事务数据存储中的数据运行分析。通过从源发送少量数据,使报告和仪表板保持最新状态,并始终了解业务的最新视图。
Lift 在幕后使用 IBM Aspera® 将数据以极快的速度迁移到云端。Aspera 的专利传输技术利用现有的 WAN 基础架构和商用硬件来实现比 FTP 和 HTTP 快数百倍的速度。
自动从迁移过程中可能遇到的常见问题中恢复。例如,如果文件上传在传输过程中中断,Lift 将从上次中断的位置继续。即使是在带宽最紧张的网络上,文件上传也非常稳定和可靠。
没有人愿意最终因数据泄露登上新闻头版。通过网络迁移到 IBM Cloud 的任何数据都通过 256 位加密连接进行保护。
每个数据迁移都分为三个步骤:从源提取、通过网络传输以及加载到目标。我们的 CLI 支持灵活地分别执行这三个步骤,以便数据迁移按照计划进行,而不是按照其他方式。
您只需在本地计算机上安装 Lift CLI 一次。在幕后,CLI 与 IBM Cloud 中运行的 Lift Core Services 配合使用,帮助将数据传输到 Watson Data Platform 持久存储。与任何其他云应用程序一样,Lift 不需要更新。新功能可立即使用,甚至无需动手指。
我们希望您尝试我们的云数据服务。成本应该不是问题。
全面托管的 SQL 云数据库。按需轻松部署和扩展。
使用 IBM Integrated Analytics System 更快地体验数据科学。一个优化的云就绪数据平台,可以将数据科学家与数据连接起来。
获取关于本产品最常见问题的回答
如果要从 IBM PureData System for Analytics (Netezza) 数据库迁移数据,首先需要使用“lift extract”将数据库表本地提取到 CSV 文件。然后使用“lift put”将 CSV 数据文件传输到 IBM Db2 Warehouse on Cloud 登陆区域。IBM Db2 Warehouse on Cloud 登陆区域是一个预先分配的空间,用于数据加载和暂存。最后使用“lift load”将上传的 CSV 数据文件加载到引擎中。加载完成后,可以使用“lift rm”删除数据文件。
如果要迁移一组 CSV 文件,则需要执行与上述类似的一组步骤。首先,使用“lift put”将 CSV 数据文件传输到 Db2 Warehouse on Cloud 登陆区域。Db2 Warehouse on Cloud 登陆区域是一个预先分配的空间,用于数据加载和暂存。最后使用“lift load”将上传的 CSV 数据文件加载到引擎中。加载完成后,可以使用“lift rm”删除数据文件。
没有限制,您可以迁移任何容量的数据库。但是,请记住,数据库迁移的持续时间取决于网络连接速度、需要迁移的未压缩数据量以及源计算机和目标计算机的硬件配置文件。换句话说,迁移的最终用时可能会有所不同。
Lift CLI 将表或 CSV 文件迁移到 IBM Cloud 数据目标。如果需要迁移其他数据库工件,例如表、视图、存储程序,请使用 IBM Database Conversion Workbench。
我们建议您从与数据库源网络接近(最低延迟)的计算机安装并运行 CLI。这将确保您的数据在本地环境中更快地提取和暂存,从而缩短整体端到端数据迁移时间。
必须在运行 Lift CLI 的计算机上打开以下端口:
*当 Lift CLI 向端口 33001 上的 Db2 Warehouse on Cloud 集群启动出站连接时,将会产生传入的返回流量。本地端口是临时端口范围中的一个,由操作系统随机选择。所有现代防火墙都是有状态的(或连接感知或状态感知),并且预计不需要打开任何入站端口。
用途 | 协议 | 方向 | 目的地 | 端口 |
---|---|---|---|---|
Aspera Transfer | TCP | 出站 | 互联网 | 33001* |
Aspera Transfer | UDP | 出站 | 互联网 | 33001* |
Db2 Warehouse on Cloud SSL-secured JDBC | TCP | 出站 | 互联网 | 50001 |
DB2 Warehouse on Cloud REST Load API | TCP | 出站 | 互联网 | 8443 |
Lift Core Services | TCP | 出站 | 互联网 | 443
|
对于 Linux 和 MacOS,最小存储应大于或等于最大表(未压缩)的磁盘表示形式。
对于 Windows,最小存储应大于或等于最大表(未压缩)的磁盘表示形式的 2 倍。
可以运行“lift df”来检查 Db2 Warehouse on Cloud for Analytics 登陆区域上的可用磁盘空间。可以通过运行“lift rm”来释放空间。如果仍然没有足够的空间,可以将表分成多个文件块,并使用“lift extract - size”选项单独上传这些文件块。
当然可以。您可以使用“lift put - max-throughput”选项来限制数据传输使用的吞吐量。
可以。您可以将连接凭证设置为环境变量。还可以创建一个属性文件,并将数据库凭证和常用选项放在其中。查看“lift help <command”以了解 Lift CLI 支持的选项列表。
如果客户作为数据控制者确定技术和组织安全措施适合处理所带来的风险以及要保护的数据的性质,则 IBM Lift CLI 可用于处理受 HIPAA 监管的受保护的健康信息。IBM Lift CLI 并非旨在处理适用其他法规要求的数据。
可以使用以下内容创建位于 Lift CLI 安装 bin 目录 ( <Lift CLI install dir>/bin ) 的环境配置文件 lift.environment,以添加 HTTP 代理配置:
对于代理主机,请使用 proxy.host=<hostname>。对于代理端口,请使用 proxy.port=<portnumber>。必须同时指定两者才能使设置生效。如果代理需要认证,Lift CLI 通过提供 proxy.user=<user> 和 proxy.password=<password> 在 CONNECT 请求中使用基本认证。必须同时指定两者才能使认证设置生效。
<Lift CLI install dir>/bin/lift.environment 内容示例(每个属性位于新行上):
proxy.host=myproxy.host
proxy.port=3029
proxy.user=myproxyuser
proxy.password=proxypassword
可以使用以下内容创建位于 Lift CLI 安装 bin 目录 ( <Lift CLI install dir>/bin ) 的环境属性文件 lift.environment,以添加要导入可信存储的 X509 证书:
对于代理主机,请使用 proxy.certificate.path=<fully qualified path to the X509 certificate file>。
添加证书时使用别名 ibm-lift-imported-proxy-cert。如果别名已存在,则不会导入文件,并且必须在再次运行 CLI 之前手动删除文件。您可以使用 <Lift CLI install dir>/jre/lib/security/cacerts 中的 Lift CLI Java 信任库上的 Java keytool 删除证书(例如:keytool -delete -alias ibm-lift-imported-proxy-cert -keystore <Lift CLI install dir>/jre/lib/security/cacerts -storepass changeit)。
是的,Lift CLI 可以安装在 PureData System for Analytics 上,但必须连接额外存储才能为提取的数据提供足够暂存磁盘空间。
以下技术说明提供在 PureData Systems for Analytics 上安装 SAN/NFS 系统的步骤。它们还包括为 PureData System for Analytics 连接和配置额外存储的最佳实践。
1. 向 PureData Systems for Analytics 添加 SAN 存储:http://www.ibm.com/support/docview.wss?uid=swg21700900
2. IBM PureData System for Analytics 在设备上安装 NFS:http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933
3. 在 PureData for Analytics 系统上安装 NFS 文件系统:http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589
当您为 PureData System for Analytics 源安装 Lift CLI 时,请在“注入”系统(用于暂存数据以加载到 PureData System for Analytics 数据库中的系统)上安装 Lift CLI。该系统将与 PureData System for Analytics 建立良好的连接,并拥有大量磁盘空间用于暂存数据。但是,如果您的注入系统已满载,则将 Lift CLI 安装在具有类似连接和大量暂存磁盘空间的类似系统上。
我们强烈建议您在 Linux 计算机上安装 Lift CLI。当您的 Lift CLI 安装在 Linux 计算机上时,可以使用高速卸载工具从 PureData System for Analytics 源中提取数据。当您的源是 PureData System for Analytics 时,在 Linux 上安装 Lift CLI 可以显著提高整体吞吐量。
我们强烈建议您在安装 Db2 客户端的 Linux 计算机上安装 Lift CLI。在安装 Db2 客户端的 Linux 计算机上安装 Lift CLI 可以显著提高整体吞吐量。当 Lift CLI 无法检测到 Db2 客户端时,会使用不同的提取策略,您可能会发现提取吞吐量降低。对于控制台消息:“Lift 正在以亚光级速度提取数据。您可以通过安装和配置 Db2 客户端来缩短提取时间。如需了解更多信息,请访问 http://ibm.biz/BdZcFp”(IBM 外部链接),当安装 Lift CLI 的计算机上没有安装 Db2 客户端时,会打印该控制台消息。
Lift CLI 使用 Db2 客户端的前提条件:
1. db2(适用于 Linux)或 db2cmd(适用于 Windows)命令必须在 PATH 中可用。
2. 如果 Lift CLI 从 IBM Db2 for Linux UNIX and Windows 服务器远程运行,则操作系统用户必须包含在 Db2 客户端实例的 SYSADM 组中。
3. Db2 客户端的版本必须与 IBM Db2 for Linux UNIX and Windows 服务器的版本相同或更高。
是的。Lift CLI 支持提取隐藏列。默认情况下,隐藏列不包含在提取的 CSV 文件中。如果要在提取的数据中包含隐藏列,请使用列选择选项明确指定所有列名称以及隐藏列名称。有关列选择选项的更多信息,请参阅“lift extract - help”。
以下是 Lift CLI 使用 Oracle 客户端的先决条件:
1. 安装 Oracle 客户端的基本模块和工具模块。
2. 确保将 exp 程序路径添加到 PATH 环境变量中。
3. 根据您的环境,您可能需要将 Oracle 客户端库路径添加到操作系统库路径(例如 LD_LIBRARY_PATH)。
4. Oracle 客户端版本必须与 Oracle 服务器版本相同或更高。
注意:您不需要从 Oracle 客户端预先配置源数据库连接。
是的。Lift CLI 使用 UTF-8 代码页并支持常用 Oracle 字符集的数据转换。
以下是受支持的 Oracle Database 字符集 (NLS_CHARACTERSET) 列表:
AL32UTF8、AR8ISO8859P6、AR8MSWIN1256、BLT8ISO8859P13、BLT8MSWIN1257、CL8ISO8859P5、CL8MSWIN1251、EE8ISO8859P2、EE8MSWIN1250、EL8ISO8859P7、EL8MSWIN1253、IW8ISO8859P8、IW8MSWIN1255、JA16EUC、JA16EUCTILDE、JA16SJIS、JA16SJISTILDE、KO16MSWIN949、NEE8ISO8859P4、TH8TISASCII、TR8MSWIN1254、VN8MSWIN1258、WE8ISO8859P15、WE8ISO8859P9、WE8MSWIN1252、ZHS16GBK、ZHT16HKSCS、ZHT16MSWIN950、ZHT32EUC、ALE16UTF16
您可以使用以下 SQL Query 确定源 Oracle Database 的字符集:
SELECT PROPERTY_VALUE FROM DATABASE_PROPERTIES WHERE PROPERTY_NAME = 'NLS_CHARACTERSET';
如果源表具有以下任何数据类型,Lift CLI 将使用降级模式:
BINARY_FLOAT、BINARY_DOUBLE、LOB、BLOB、CLOB、BFILE、XML、ROWID、UROWID
每个表都进行单独评估。由于存在受影响的数据类型,此降级模式仅影响当前的表提取操作。
不需要。Lift CLI 不需要任何其他额外的工具设置来进行数据迁移。
几分钟内即可开始数据迁移。