跳转到主要内容

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件.

当您初次登录到 developerWorks 时,将会为您创建一份概要信息。您在 developerWorks 概要信息中选择公开的信息将公开显示给其他人,但您可以随时修改这些信息的显示状态。您的姓名(除非选择隐藏)和昵称将和您在 developerWorks 发布的内容一同显示。

所有提交的信息确保安全。

  • 关闭 [x]

当您初次登录到 developerWorks 时,将会为您创建一份概要信息,您需要指定一个昵称。您的昵称将和您在 developerWorks 发布的内容显示在一起。

昵称长度在 3 至 31 个字符之间。 您的昵称在 developerWorks 社区中必须是唯一的,并且出于隐私保护的原因,不能是您的电子邮件地址。

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件.

所有提交的信息确保安全。

  • 关闭 [x]

高度浓缩的数据

Informix Dynamic Server 通过压缩和整合数据提高数据仓库性能

Bob Scheier, 撰稿人, IBM Data Management 杂志
Bob Scheier 是一位住在马萨诸塞州 Swampscott 的 IT 作家。

简介: 本文介绍 Informix 最近的改进,包括帮助客户建模、调度和执行创建数据仓库所需的数据转换和数据流的工具。最近,IBM 还发布了新的数据压缩和整合特性,可以降低 IDS 上 BI 和 OLTP 应用程序的开销并提高性能。
来自 IBM Data Management Magazine 中文版。

发布日期: 2009 年 8 月 05 日
级别: 初级 其他语言版本: 英文
访问情况 : 868 次浏览
评论: 



IBM Data Management 杂志印刷版上的 IDS 文章

一提到 Informix Dynamic Server (IDS),大多数 DBA 会想用于在线事务处理 (OLTP) 的快速、可靠且维护简便的平台。但是,这些事务包含对于业务决策很有价值的信息,所以许多组织也使用 IDS 作为数据仓库并对 IDS 运行业务智能化 (BI) 查询。

为了满足这些需求,Informix 已经完成了一系列改进,把它长期保持的速度和易用性优势引入了数据仓库和 BI 领域。这些改进包括帮助客户建模、调度和执行创建数据仓库所需的数据转换和数据流的工具。最近,IBM 还发布了新的数据压缩和整合特性,它们可以降低 IDS 上 BI 和 OLTP 应用程序的开销并提高性能。关键的新技术是 IDS Storage Optimization 特性。它不但可以减小 OLTP 数据存储的大小,还可以减小数据仓库的大小,避免数据仓库太大导致业务分析过分复杂和昂贵。

Storage Optimization 简介

Storage Optimization 基于 IBM DB2 中使用的技术压缩和整合 IDS 中的数据。早期的客户试用表明,Storage Optimization 使存储数据所需的内存或磁盘空间平均降低了 50%。这导致处理查询所需的时间降低了 20%,因为可以在内存中保存更多数据,减少了对缓慢的机械磁盘驱动器的 I/O 操作次数。当然,减小数据库大小还会推迟甚至避免磁盘存储的升级。

三个 Storage Optimization 组件中最重要的是压缩,它分析数据库中的每一行,寻找重复出现的数据模式。它把重复出现的模式存储在一个词典中,然后用更短的符号串替换这些模式。其他压缩技术只在每行的一部分中寻找重复模式,而 Storage Optimization 会扫描整个行,无论行中有多少列。由于它的扫描范围比其他压缩技术更大,它可以找到并压缩更多的重复模式,因此实现的压缩率非常高(见图 1)。


图 1: 把重复模式保存为更短的字符串让 Storage Optimization 能够实现非常高的压缩率
图 1: 把重复模式保存为更短的字符串让 Storage Optimization 能够实现非常高的压缩率

第二个组件是重新包装(即接合),它整合每个分区中的空闲空间。最后一个功能是收缩,它删除分区中未使用的部分,把这些部分返回给 IDS 以便重用。与小的分散的空闲空间相比,IDS 更容易重用这些大的连续空间。压缩和整合可以提高查询的性能,同时降低数据仓库所需的物理磁盘空间量。


自动化的压缩

数据库压缩并不是新技术,但是 Storage Optimization 会自动执行关键任务,大大简化了使用。例如,它自动地构建压缩词典,DBA 不需要手工指定要压缩的模式。Informix 还就优化在什么情况下没有效果提供指导(见 “参考资料”),比如对于可以在不压缩的情况下放在内存中的小表以及临时表和系统编目。但是,即使在这些情况下,压缩数据以及重新包装和收缩数据所需的表扫描消耗的 CPU 周期也对总体性能影响不大。

尽管压缩和解压需要 CPU 周期,但是 IDS 首席架构师 Kevin Brown 指出,“我们发现减少页面数量和 I/O 数量带来的收益超过了 CPU 开销方面的付出。如果您的数据库以前无法放在内存中,而现在可以了,您就会看到真正的性能飞跃。”

在压缩可能降低应用程序性能的场景中,管理员可以指定要压缩的片段。Brown 说,“例如,如果一个表有 10 个片段,为了实现最好的性能,可以不压缩最近创建的片段,只压缩比较老的片段,因为访问它们的可能性比较小。” 管理员可以使用重新压缩选项重新构建压缩词典,以此确保实现最好的表压缩率;如果随着时间的推移数据发生了显著变化,就有必要这么做。

DBA 可以在数据库正在运行时使用任何或所有 Storage Optimization 功能,而不会中断事务或查询。他们还可以在 IDS OpenAdmin Tool (OAT) 中管理 Storage Optimization,OAT 也用来管理卷大小和监视性能。管理员和业务用户可以通过图形化工具看到运行任何 Storage Optimization 功能能够节省的空间量。还可以通过命令行界面控制 Storage Optimization,这对于在自己的应用程序中捆绑 IDS 的 ISV 很有意义。


捆绑的好处

可以通过新的数据仓库平台包 IBM Informix Warehouse 使用 Storage Optimization,其中包含 IDS、新的 Storage Optimization 特性和 IBM Informix Warehouse Feature V11.50。Informix Warehouse Feature V11.50 包含 SQL Warehouse (SQW) Client 和 Design Studio,可以进行数据建模、模式设计、数据转换设计和数据流设计;还包含 SQW Warehouse Server,可以使用其中的管理控制台调度和管理数据流;还包含在 IDS 数据服务器中执行数据转换的 SQL Warehouse 运行时。

Informix Warehouse 基础结构还支持集成的外部工具,例如用 IBM Cognos 中的工具进行 BI 分析,用 IBM Optim 管理数据增长,用 IBM InfoSphere DataStage 和 InfoSphere QualityStage 执行数据转换和清理。

有了新的 IDS 数据仓库工具,DBA 可以对操作性数据存储执行业务分析,确保能够访问最新的数据。他们还可以在 IDS 中创建单独的数据仓库,从而防止分析查询影响生产应用程序的速度;也可以运行 “共享磁盘” 配置,让不同的服务器为执行 OLTP 和业务分析访问相同的数据。已经使用 IDS 实现数据仓库和 BI 的企业现在可以使用更好、更有针对性的工具实现自己的目标。Brown 说,“我们给企业提供更多选择,让他们可以根据自己的技术和业务需求以最佳方式使用数据和基础结构。”


参考资料

学习

获得产品和技术

讨论

  • 通过访问 alphaWorks 获得更多 IBM 的前瞻性技术和资源。

  • 通过访问 IBM Database Magazine 站点 community 专题 获得更多用户体验和交流信息。

关于作者

Bob Scheier 是一位住在马萨诸塞州 Swampscott 的 IT 作家。

关于报告滥用的帮助

报告滥用

谢谢! 此内容已经标识给管理员注意。


关于报告滥用的帮助

报告滥用

报告滥用提交失败。 请稍后重试。


developerWorks:登录


需要一个 IBM ID?
忘记 IBM ID?


忘记密码?
更改您的密码

单击提交则表示您同意developerWorks 的条款和条件。 使用条款

 


当您初次登录到 developerWorks 时,将会为您创建一份概要信息。您在 developerWorks 概要信息中选择公开的信息将公开显示给其他人,但您可以随时修改这些信息的显示状态。您的姓名(除非选择隐藏)和昵称将和您在 developerWorks 发布的内容一同显示。

请选择您的昵称:

当您初次登录到 developerWorks 时,将会为您创建一份概要信息,您需要指定一个昵称。您的昵称将和您在 developerWorks 发布的内容显示在一起。

昵称长度在 3 至 31 个字符之间。 您的昵称在 developerWorks 社区中必须是唯一的,并且出于隐私保护的原因,不能是您的电子邮件地址。

(长度在 3 至 31 个字符之间)


单击提交则表示您同意developerWorks 的条款和条件。 使用条款.

 


为本文评分

评论

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=10
Zone=Information Management
ArticleID=418352
ArticleTitle=高度浓缩的数据
publish-date=08052009
author1-email=bob.scheier@tdagroup.com
author1-email-cc=

标签

Help
使用 搜索 文本框在 My developerWorks 中查找包含该标签的所有内容。

使用 滑动条 调节标签的数量。

热门标签 显示了特定专区最受欢迎的标签(例如 Java technology,Linux,WebSphere)。

我的标签 显示了特定专区您标记的标签(例如 Java technology,Linux,WebSphere)。

使用搜索文本框在 My developerWorks 中查找包含该标签的所有内容。热门标签 显示了特定专区最受欢迎的标签(例如 Java technology,Linux,WebSphere)。我的标签 显示了特定专区您标记的标签(例如 Java technology,Linux,WebSphere)。