众所周知，Informix 数据库一直是业界领先的联机事务处理 OLTP 数据库，其先进的动态可伸缩体系结构 DSA(Dynamic Scaleble Architecture) 随着数据量以及用户访问的不断增加可以提供非常灵活的扩展能力，充分、合理地利用系统资源来提高数据处理处理能力；其业界领先的数据库集群技术，不仅提供 HDR、RSS 等数据库高可用及远程容灾能力，还提供 SDS 数据库高可用及负载均衡能力，充分满足 OLTP 系统不间断业务运行的能力；其灵活的网格计算能力 (flexible Grid) 提供了 Informix 数据库云计算能力，可以进一步提高其数据处理能力；其简单、易用、自我管理能力不仅能够极大地减轻数据库管理员的维护工作，减低 TCO，同时，还在很多嵌入式设备的有广泛的应用。

长期以来，Informix 数据库拥有广大的用户群及忠实的粉丝。随着应用的不断深入，业务数据的不断积累以及市场竞争的日益激烈，人们现在更加关注如何利用现在已有的大量业务数据，来优化企业的运作，来进行数据分析、辅助决策。近几年，业务优化需求的增长是传统业务自动化的近 2 倍。通过对 Informix 用户的调查，目前已经有 40% 的用户在使用 Informix 实施数据仓库，可见，数据仓库的需求在不断增长。

Informix 在很早就已经提供了数据仓库解决方案，从历史上看，Informix 拥有 3 个数据库产品，一个就是我们上面提到的 Informix Dynamic Server (IDS)，它主要是针对 OLTP 数据库而设计的；Informix XPS，它是专门针对数据仓库设计的数据库产品，提供 shared-nothing 的体系结构，提供无限的扩展能力及高效处理能力；Red Brick，它是专门针对星型模型 (Star Schema) 及雪花型模型 (Snowflake Schema) 数据集市及数据仓库设计的数据库产品，提供 start join、Target Join 等针对星型模型及雪花型模型优化的连接技术，提高数据处理性能。

IBM 现在将 XPS 及 Red Brick 中优秀的数据仓库特性融入到 Informix Dynamic Server (IDS) 中，使 IDS 不仅能够处理 OLTP 应用，现在也可以高效处理数据仓库以及 OLTP/Warehousing 混合负载，提供强大的数据仓库处理能力。同时，还可以集成 IBM 数据仓库及商业智能解决方案相关产品提供端到端得解决方案，充分满足用户的需求。我们可以结合 Infosphere Datastage 来提供高效、可扩展的 ETL 能力，结合 Infosphere CDC 来提供增量数据抽取以及异构数据复制能力；结合 Cognos 提供前端数据查询、报表、OLAP 分析能力；结合 IBM Industry Model 提供行业数据仓库模型，加速数据仓库设计及实施。

下边是一个典型的数据仓库体系结构，它主要包括 4 个部分：

• 数据源
• 数据抽取、转换、装载 ETL 过程
• 数据仓库的存储及管理
• 前端分析展现

Informix 数据仓库解决方案也是基于上述数据仓库体系结构来设计的，并且在数据仓库解决方案的每一个环节都提供了功能强大的产品及工具，提供了端到端的解决方案。

在数据抽取、转换、装载部分，我们可以采用 Informix 数据仓库解决方案中的 SQW 工具完成基于 Informix 数据库的数据抽取、转换、装载工作；我们可以利用 External Tables、HPL 工具实现快速数据装载工作；我们还可以利用 IBM DataStage 来完成复杂、高效 ETL 工作。

在数据仓库存储管理部分，我们可以利用 Informix 数据库提供的 Interval Fragmentation 技术来实现基于时间的数据分区自动维护功能，数据仓库往往是时间相关的，Interval Fragmentation 技术可以不需要事先创建基于时间的数据分区，而是在数据加载过程中自动创建数据分区，极大地减轻数据维护的费用；我们可以利用 Informix 数据库提供的数据存储优化技术，对仓库数据进行行压缩，可以减少 50% 左右的数据存储空间，同时提高 20% 左右的查询性能；我们可以利用 Informix 数据库提供的存储供应技术，事先创建数据存储池，当数据空间出现不足时，可以自动从数据存储池中分配空间，避免产生空间不足的情况，减少数据维护工作；我们还可以利用 Informix 数据库提供的数据分区联机 attach/detach 功能，实现数据仓库 roll-in 及 roll-out 操作。

在数据查询处理部分，我们可以采用 Informix 数据库提供的 Multi-Index Scan 及 Skip Scan 技术提高数据查询性能；我们可以采用 Informix 数据库提供的星型模型 (Star Schema) 及雪花型模型 (Snowflake) 连接优化技术，优化星型及雪花型模型数据仓库查询的效率；我们可以采用 Informix 数据库提供的 Implicit PDQ 及 Light Scans 技术，提高数据仓库查询的效率；我们还可以利用 Informix 数据库提供的 Merge 语句进一步提高数据仓库的性能。

为进一步提高 Informix 数据仓库查询的性能，从 Informix 11.7xC2 开始，推出了专门针对数据仓库应用的数据仓库加速器 IWA(Informix Warehouse Aaccelerator)，它将需要分析的数据集市数据经过压缩、频度分区技术全部保存在内存中，消除了磁盘 I/O；数据在内存中按照“列”方式存储，减少了数据扫描量，提高了 OLAP 查询的性能；新版本的 CPU 处理器有更多的核 (core) 和更大的处理器内置缓存，于是，IWA 加大并行度，减少进程间的同步，使用更好的算法以充分利用处理器内置缓存，将查询性能提升到一个新的高度。

Informix 数据仓库加速器提供了优异的性能，而不需要做“在传统数据仓库上需要做的优化工作”。它被设计来在秒级上处理海量数据。它被设计来快速的提供业务报告，而不需要对应用程序架构进行任何修改，也不需要额外的维护成本。

在对 Informix 数据仓库加速器（Informix Warehouse Accelerator, IWA）进行了大量的测试后，来自美国 Skechers 公司的资深数据库架构师 Ashutosh Khunte 说：在使用 IWA 之前，我们在目前使用的企业级数据仓库上对“拥有超过 10 亿个数据行”的表进行复杂的销售分析查询，需要几分钟到 45 分钟才能完成。使用 Informix 数据仓库加速器进行同样的查询，只需要 2 到 4 秒即可完成！这意味着性能提高了 60 到 1400 倍，平均超过 450 倍 ---- 没有创建任何索引和多维数据集，也没有进行任何查询优化或应用程序的修改！通过采用 Informix 数据仓库加速器，一般可以有 10 到 400 倍速度的提高。

Informix 数据仓库加速器 IWA 可以作为 Informix 数据仓库解决方案的附加组件，主要用来加速查询操作，提供快速响应时间。从 Informix 11.7xC2 开始，专门推出了新的 Informix 数据仓库版本 Informix Ultimate Warehouse Edition，用来构建基于 Informix 数据仓库。它主要包括以下软件包 :

• Informix Ultimate Edition ---Informix 数据库
• Compression Feature (Informix)---Informix 数据压缩组件
• Informix Warehouse Accelerator (IWA)---Informix 数据仓库加速器
• IBM Smart Analytics Optimizer (ISAO)--- Informix 数据仓库加速器管理工具

Informix 数据仓库加速器 IWA 原理

如下图所示，我们采用 Informix 数据库作为数据仓库存储服务器，用户详细的分析数据保存于此，我们可以基于该数据进行趋势分析、辅助决策、优化业务运作；同时，为了加速数据仓库查询效率，我们可以在 Informix 数据仓库解决方案中增加数据仓库加速器 IWA，它可以部署在一台单独的基于 Intel 的 64 位 Linux 服务器上，同 Informix 数据仓库服务器以 TCPIP 方式进行通讯；也可以同 Informix 数据仓库服务器部署在同一台机器上，通过将定义的数据集市数据压缩并完全保存在内存中来极速提高数据仓库查询效率。

由于数据仓库中的数据是面向整个企业范围的，而且数据量很大，我们进行分析时，往往是针对某一部门或某一分析主题进行的，因此，一般我们会针对某一部门或某一主题定义不同的数据集市来进行分析。在使用 IWA 时，我们也是首先针对我们要分析的主题，定义相应的数据集市，并将数据集市定义信息以 XML 方式传给 IWA，IWA 部署数据集市的同时，将数据集市定义信息以 SQL 方式返回给 Informix 数据库，在 Informix 数据库系统表中创建相应的 AQT（Accelerator Query Table）视图。

当数据集市部署到 IWA 后，我们需要装载数据到数据集市中。Informix 数据库提供相应的存储过程来自动进行数据装载工作。当数据从 Informix 数据库装载到 IWA 时，IWA 会自动对数据进行压缩、并按照频度分区方法对压缩数据进行分区并存储在内存中。

当用户向 Informix 数据库发出查询请求时，Informix 数据库优化器评估用户查询请求，并且将其同 Informix 数据库系统表中的 AQT 进行匹配，如果满足条件，该查询请求将被重新路由到 IWA 中来加速数据查询，并将查询结果通过 DRDA 协议返回给 Informix 数据库，并最终返回给应用程序。如果 IWA 出现问题，查询请求仍然可以直接访问 Informix 数据库得到最终结果而不会影响用户的查询请求。

回页首

Informix 数据仓库加速器 IWA 进程

如下图所示，IWA 在运行时主要由协调者进程及工作者进程组成。

协调者进程有三个重要的作用：

1. 协调者进程是 IWA 与 Informix 数据库服务器通信的主要接口。Informix 数据库服务器与协调者进程通信，从而发送数据、发送查询请求、获得查询结果。
2. 在数据装载阶段，协调者进程将数据分配给各个工作者进程。接着协调者进程从各个工作者进程处收集压缩字典 (compression dictionary) 的信息，并将这些压缩字典的信息整合成一个总的压缩字典，然后将这个总的压缩字典发送给所有的工作者进程。
3. 在查询处理阶段，协调者进程从 Informix 数据库服务器得到查询语句后，将查询语句发给各个工作者进程。工作者进程处理查询语句得到中间结果后，将中间结果发给协调者进程。然后协调者进程对中间结果进行汇聚，并对数据进行解压缩，如果需要对数据进行排序则对数据进行排序，得到查询的最终结果，并将之发给 Informix 数据库服务器。

协调者进程对工作者进程发送来的数据进行汇聚、分组、解压缩、排序，然后通过 DRDA 协议把最终结果发送给 Informix 数据库服务器。Informix 数据库服务器再把最终结果发送给应用程序。

工作者进程有两个重要的作用：

1. 在数据装载阶段，每个工作者进程使用频率划分 (frequency partitioning) 的方法对数据进行分析，自动对数据进行垂直的和水平的划分，然后使用深度列式存储 (deep columnar) 技术对数据进行压缩。后面我们会对深度列式存储技术进行较详细的介绍。
2. 工作者进程对被压缩的数据进行查询处理。每个工作者进程维持着处于压缩态的“事实表 (fact table) 的一部分”和“所有的维表 (dimension tables)”。工作者进程得到查询处理的中间结果后，将中间结果返回给协调者进程。查询处理 100% 是在内存中完成的。

协调者进程和工作者进程紧密协作，使每一条查询都被并行的处理，从而快速的返回结果。

回页首

Informix 数据仓库加速器 IWA 数据装载

在数据装载这一步中，Informix 数据库里的数据被发送到 IWA。在这一阶段，IWA 将数据分发给它的各个工作者进程。工作者进程将会分析各个数据值出现的频率，分析数据列之间的关系，然后对数据进行垂直和水平的划分 (partitioning)。划分方式一旦被确定，工作者进程将使用深度列式存储技术 (deep columnar) 对数据进行压缩。在这个过程中，数据在内存中被压缩和保存。出于故障恢复的需要，内存中的数据会被拷贝到硬盘上。在这个过程中，没有索引被创建，也没有概要表 (summary table) 和立方体 (cube) 被创建。IWA 里的数据可被定期的（例如每个晚上）更新。

如下图所示，Informix 数据库中的事实表数据通过 round_robin 方式被均匀地分配给工作者进程，每个工作者进程在内存中保留数据的子集 ( 压缩形式 ) 并执行相关查询。

Informix 数据库中的所有维表被分配到每一个工作者进程，如下图所示，这样，可以保证每一个工作者进程的查询都是“collocation Join”，不会产生数据的移动，并行执行查询操作，提高了查询的效率。

回页首

Informix 数据仓库加速器 IWA 突破性的技术

正如我们上边提到的，IWA 采用了诸多业界领先的技术来提高查询的性能。下边，我们具体来介绍一下主要的技术要点：

1. 强大的数据压缩

IWA 采用哈夫曼编码对数据进行压缩，基本可以达到 3：1 的压缩比，可以保证将数据集市的数据全部保存到内存中。

2. 深度列式存储技术

Informix 以行格式处理联机事务工作负载，IWA 以列数据访问方式处理 OLAP 查询。如下图所示，传统的数据库将一个个完整的数据行存储在数据页中。如果处理查询时需用到大多数的数据列，这种方式在磁盘 I/O 上是比较高效的。如果数据行被压缩了，那么在处理查询时数据行将被解压缩。这种存储方式对于 OLTP 负载（每个查询只访问少量的数据行）来说是高效的。

一个 OLAP 类型的查询可能需要访问几百万甚至几十亿个数据行，但该查询可能仅关注事实表中的少量数据列。例如，您可能需要 2010 年各个地点各个产品的销售量。对于这个需求，您只需要事实表里的三个数据列：item、sales amount、location。对于这个例子，压缩、存储、解压缩整个数据行是不高效的。

如上图所示，列式数据库将同一数据列的各个值存放在一起。当您插入或装载数据行时，一个数据行的各个数据列的值被存放在不同的地方。当您读取某个数据行时，该数据行的各个数据列的值被从不同的地方取出，然后组合在一起形成数据行。由于同一数据列的各个值存放在一起，我们可以得到更高的压缩比率。在上一段落提到的例子中，这个 OLAP 类型的查询只对事实表中的少量数据列感兴趣。对于上一段落提到的例子，如果使用的数据库是列式数据库，您可以只读取“存储着 item、sales amount、location 数据列”的数据页。对于存取大量数据行和少量数据列的查询来说，列式存储可以大大改进效率。

IWA 将数据存储在数据列组 (column group) 中。如上图所示，一个数据表被垂直划分成几个数据列组。数据列组也被称作 bank。由于在不同的 cell（通过 frequency partitioning 得到的 cell）中，数据列的长度是不同的，所以在确定将哪些数据列分配到哪些 bank 中时，不同的 cell 有不同的分配方案。

IWA 使用 bin-packing 的算法来确定将哪些数据列分配到哪些 bank 中。这样在扫描数据时就只需扫描“含有感兴趣的数据列”的 bank，而无需扫描“不含有感兴趣的数据列”的 bank。使用这项技术后，IWA 可以大大较少对内存中数据的扫描量，节省了大量 CPU 资源。

3. 内存数据库

内存访问速度和磁盘访问速度之间的差距随着时间的推移越来越大。在过去，内存的价格昂贵，因此传统数据库系统使用的内存较少，我们通过减少磁盘 I/O 量和缓存技术来对传统数据库系统进行优化。随着内存价格的不断下降，我们已经可以承受 TB 级内存的价格，我们需要重新设计我们的系统。IBM 的服务器现已可支持 3TB 的内存。IBM 的服务器可支持的内存量将越来越大。IWA 顺应这一趋势，在内存中压缩、存储所有数据，消除了磁盘 I/O。

新版本的 CPU 处理器有更多的核 (core) 和更大的处理器内置缓存。于是，IWA 加大并行度，减少进程间的同步，使用更好的算法以充分利用处理器内置缓存。

一般来说，IWA 对数据的压缩比率为 3:1。如果事实表 sales 和维表 customer、store、time 的数据一共有 100GB（100GB 中的大多数都为事实表 sales 的数据占用），那么这些数据被压缩后大约为 33GB。

4. 频度分区技术

IWA 对数据集市里的每个数据表，通过分析一个或多个数据列里经常出现的值，将紧密相关的一些数据列组成一个 tuplet。在上面的图示中，产品 (product) 和产地 (origin) 这两个数据列紧密相关，所以将这两个数据列组成一个 tuplet。tuplet 是 tuple 的一部分。一个 tuple 是一个完整的数据行。哈夫曼编码 (Huffman encoding) 的好处是用“最少的数据位”对“最经常出现的值”进行编码。在上面的图示中，“前 64 种产品”和“产地（美国，中国）”结合形成了哈夫曼编码中的单元 1 (cell 1)。这项技术改进了压缩的效率，并且可被用于判断 tuplet 是否满足查询语句中的过滤条件，提供分区排除功能。由于对查询语句的处理是基于压缩的数据，处理的速度将非常迅速。

5. 基于压缩数据进行断定评估

查询语句的条件评估时不需要基于解压后的数据进行扫描，处理的速度将非常迅速。

6. 使用 SIMD (Single Instruction Multiple Data) 加大并行度

考虑下面的 SQL 语句：

				
 SELECT SUM (T.P) FROM T WHERE T.A > 5 GROUP BY T.Z 
     

该查询语句只需访问 amount (A)、prid (P)、zip(Z) 三个数据列，且这三个数据列存储在同一个 Bank( 采用 IWA 深度列式存储技术 )，如下图所示，这样，我们就只需访问该 Bank 即可，减少了数据扫描量，提高了查询性能。

同时，如果数据列 amount (A)、prid (P)、zip(Z) 来自同一个 Bank，那么多组值可被同时装载进 128 位的 CPU 寄存器中。在下面的图示中，我们一次可装载进 4 组值（12 个值）。

在 Intel Xeon 处理器上，SIMD 指令运行在 128 位的 CPU 寄存器上。 IWA 的压缩技术使每个数据列只使用非常少的数据位，因此 128 位的 CPU 寄存器一次可装载进多个数据列。我们可并行的装载进多个数据列，然后并行的判断这些数据列是否满足查询语句的过滤条件。在查询处理中，操作在所有的 CPU 上同时进行，因此查询处理的速度极快。

在下面的图示中，一条 CPU 指令可处理 4 组值（12 个值），这使 IWA 拥有极快的查询处理的速度。

回页首

Informix 数据仓库加速器 IWA 优势

Informix 数据仓库加速器 (IWA) 的优势主要体现在以下几个方面：

• 通过采用业界先进的数据压缩、内存数据库、深度列式存储及频度分区以及基于压缩数据进行条件判断及分组技术，提供高效的数据访问，访问速度一般可以提高 10-400 倍。
• 不需要进行手工调优，减轻了数据库维护工作量，同时提高了数据查询效率。在 IWA 中，我们不再需要传统数据库中复杂的数据库优化手段，极大地减少了数据库维护的工作量，它主要包括：
1. 无需创建索引。IWA 的查询处理引擎可以在几毫秒或者几秒内完成数亿记录的逻辑扫描。“深度列式存储技术、对压缩数据的查询处理技术、利用最新处理器特征的创新算法等”使得索引不再被需要。
2. 无需收集统计信息。传统数据库优化器依赖定期收集统计信息以制定性能更好的执行计划。使用 IWA，表关联的顺序是自动确定的，统一采用星型连接（star join）方式。所以 IWA 不需要统计信息。
3. 无需创建分片（分区）表。数据将自动进行横向、纵向的分片。由于采用深度列式存储技术，查询数据将从横向和纵向分片修剪（也叫分片消除）中收益。
4. 无需对单个或者整个系统进行调优。在安装 IWA 的过程中，只需要配置基本的内存和存储即可。一致的执行计划、磁盘 I/O 的消除、快速数据扫描和表关联使得不再需要运行时的优化。
5. 无需存储管理。所有的数据都保存在内存中，磁盘仅是内存数据的一个备份。因此不需要为表、索引进行规划和创建存储空间。
6. 无需昂贵的硬件。IWA 被设计来运行在经济的硬件上，并可以和您的基础设施一起部署。IWA 运行在 Linux/Intel 机器上。它与安装在 Linux/Intel, AIX/Power, HP-UX/Itanium, Solaris/Sparc 的 Informix 数据库服务器一起工作。
7. 无需创建概要表和物化视图。IWA 上的表扫描和关联至少比传统数据库要快一个数量级。因此不需创建和维护概要表。
8. 无需配置数据页大小。深度列式存储技术将自动确定和优化内存单元的大小。
9. 无需管理临时空间。中间结果也是压缩的，只需少量空间。
10. 无需优化器提示 (optimizer hint)。IWA 使用星型连接的执行计划。IWA 根据运行时情况自动调整表连接的顺序。
• 支持已有业务工具和应用，无需修改应用程序。

  IWA 以“资源”的方式插入到 Informix 数据库服务器。Informix 数据库服务器知道数据集市存储在加速器上，并将相关的查询自动“路由”到 IWA 上。您的应用程序和工具不需任何改变。

• 与现有的数据仓库架构共同工作。

  IWA 在数据仓库中利用现有的逻辑模式，无需改变数据库。它作为现有数据仓库的一个附加件，用来加速数据查询的效率。当 IWA 不可用时，用户还可以继续查询数据仓库，保证查询操作不被中断。

IWA 目前只能运行在使用英特尔芯片的高性能 Linux 操作系统上。 Informix 数据库服务器和 IWA 可以在同一台服务器或不同的服务器上运行。您可以在 Linux/Intel, AIX/ Power, HPUX/HP Itanium, Solaris/Sparc 运行 Informix 数据库服务器，而在另外一台 Linux/Intel 上运行 IWA。

IWA 是 Informix Ultimate Warehouse Edition（IUWE）的一部分。IUWE 包括 Informix 数据库服务器（Ultimate Edition ）和 IWA 安装包。IWA 安装包包括 IWA 和 IBM Smart Analytics Optimizer Studio。IWA 产品包括一个快速入门指南，以及一个全面介绍安装配置 IWA 的管理指南。IWA 需要配置的地方很少，只需配置内存容量、CPU 资源、数据备份的位置等。

IBM Smart Analytics Optimizer Studio 是一个基于 Eclipse 的工具，用于管理 IWA、定义和部署数据集市。IBM Smart Analytics Optimizer Studio 有两个版本： Linux 版本和 Windows 版本。

回页首

总结

通过上述介绍，我们对 Informix 数据仓库，特别是 Informix 数据仓库加速器 IWA(Informix Warehouse Aaccelerator) 的体系结构、工作原理、突破性的技术特点及优势有了一个基本的了解，并为今后的具体使用、优化、故障诊断打下基础。接下来，我们会在“Informix 数据仓库加速器原理与实践”系列文章的第二部分及第三部分中为大家介绍 Informix 数据仓库加速器 IWA(Informix Warehouse Aaccelerator) 使用的具体场景、安装及部署的基本方法与要求、IWA 配置的基本方法及应用实践，希望能够帮助大家快速掌握利用 Informix 数据仓库加速器 IWA 优化分析应用的基本方法。

参考资料

学习

• 阅读 Informix 11.70 信息中心 Informix 数据仓库加速器 ，获得更多关于 Informix 数据仓库加速器的相关信息。
  
  
• 访问 Informix Dynamic Server 产品专题，了解关于 Informix 产品和相关技术资源的详细信息。
  
  
• 在 developerWorks 中国网站 Information Management 专区 了解关于信息管理的更多信息。查找技术文档、how-to 文章、培训、下载、产品信息以及更多内容。
  
  
• developerWorks 技术活动 和 网络广播：随时关注这些活动中的技术。
  
  
• 在 Twitter 上关注 developerWorks。
  
  

获得产品和技术

• 使用可以直接从 developerWorks 下载的 IBM 产品评估试用版软件 构建您的下一个开发项目。
  
  

讨论

• 参与 developerWorks 博客 并加入 developerWorks 中文社区，developerWorks 社区是一个面向全球 IT 专业人员，可以提供博客、书签、wiki、群组、联系、共享和协作等社区功能的专业社交网络社区。
  
  

关于作者

为本文评分

评论

回页首

内容

• Informix 数据仓库加速器 IWA 原理
• Informix 数据仓库加速器 IWA 进程
• Informix 数据仓库加速器 IWA 数据装载
• Informix 数据仓库加速器 IWA 突破性的技术
• Informix 数据仓库加速器 IWA 优势
• 总结
• 参考资料
• 关于作者
• 评论