InfoSphere Warehouse Administration Console 的对比介绍

随着 DB2 Cobra 的发布,InfoSphere Warehouse 也经历了三个重要的版本。DB2 Data Warehouse Edition 9.1.X、DB2 Warehouse 9.5.X, 和现在的最新发布的 InfoSphere Warehouse 9.7。Administration Console 作为 InfoSphere Warehouse 一个非常重要的模块,也经历了三次重大的转变。本文主要介绍 InfoSphere Warehouse Administration Console 在三个版本所采用的不同技术和架构,引进的新特性,以及不同的 UI 界面给客户带来的全新体验。

李明慧, 软件工程师, IBM

李明慧 ,在 IBM 中国软件开发中心 BI 团队工作从事 InfoSphere Warehouse Administration Console 的功能测试工作。曾在 DeveloperWorks 发表《将 DB2 DWE 9.1.X 迁移到 DB2 Warehouse 9.5》、《 InfoSphere Warehouse SQL 仓储命令行接口》以及《Linux下利用 squid 反向代理提高网站性能》等文章。



张岩, 软件工程师, IBM  

张岩,在 IBM 中国软件开发中心 IM Warehouse Tooling 团队工作从事 InfoSphere Warehouse 的开发工作。



2010 年 9 月 16 日

IBM InfoSphere Warehouse Enterprise Edition 是一套集成软件包,它提供了一套工具,能够高效地管理、交付以及分析商业信息。InfoSphere Warehouse Administration Console 是一个部署在 WebSphere Application Server 上的企业级应用程序,它可以用来部署和管理在 Design Studio 中创建的数据仓库应用程序。

随着 DB2 Cobra 的发布,InfoSphere Warehouse Enterprise Edition 也经历了三个重要的版本。DB2 Data Warehouse Edition 9.1.X、DB2 Warehouse 9.5.X, 和现在的最新发布的 InfoSphere Warehouse Enterprise Edition 9.7。Administration Console 作为 InfoSphere Warehouse 一个非常重要的模块,也经历了三次重大的转变。本文主要介绍 InfoSphere Warehouse Administration Console 在三个版本所采用的不同技术和架构,以及不同的 UI 界面给客户带来的全新体验。

DB2 Data Warehouse Edition 9.1.X Administration Console

DB2 Data Warehouse Edition (DWE) 9.1.X Administration Console 所采用的架构及技术

DB2 Warehouse Admin Console 9.1.x 是基于 JSF 开发的 web 应用,并且部署于 WAS 6.0.2。客户可以通过网页和命令行两种方式访问 Admin Console。

图 1. DB2 Data Warehouse Edition (DWE) 9.1.X Administration Console 高层组织结构
图 1. DB2 Data Warehouse Edition (DWE) 9.1.X Administration Console 高层组织结构

这一版本的 Admin Console 提供了对公共资源,DWE SQL 仓库,DWE OLAP 和 DWE 挖掘的管理。在实现上 , 基于 JSF 分为三层,分别为展现层,java 接口层和应用层。

图 2. DB2 Data Warehouse Edition (DWE) 9.1.X Administration Console 整体实现框架
图 2. DB2 Data Warehouse Edition (DWE) 9.1.X Administration Console 整体实现框架

DB2 Data Warehouse Edition (DWE) 9.1.X Administration Console 功能介绍

DB2 Data Warehouse Edition (DWE) 9.1.X Administration Console 是部署 WebSphere Application Server6.0.2 上的一个企业级应用程序,通过 URL: http://hostname:9080/dweadm来对它进行访问。下面是它的登录页面,在这个页面中输入在安装时配置的用户名和密码即可登录。登录之后会看到 DWE 9.1.X Administration Console 的欢迎页面。

图 3. DB2 Data Warehouse Edition (DWE) 9.1.2 Administration Console 欢迎页面
图 3. DB2 Data Warehouse Edition (DWE) 9.1.2 Administration Console 欢迎页面

DWE 各部分功能简介

DWE 公共功能 : 为了进行 DWE OLAP 和数据挖掘管理操作,需要首先创建数据库概要文件并启用数据。

  • 数据库概要文件:为了连接到某一数据库,你需要在该页面创建数据库概要文件。创建的数据库概要文件使用新的或是已有 WebSphere Application Server 的数据源。数据源就数据库的连接信息。这些数据源用于 OLAP 和数据挖掘。在该页面还可以查看到所有有数据库概要文件,并可以对它们进行测试、编辑或删除数。
  • 数据库启用:在该页面可以查看 OLAP 和挖掘的启用状态,如果未启用可以启用数据库。

DWE SQL 仓储:这部分功能用来部署、运行以及监控包含特定的可执行进程的数据仓库应用程序。这部分还可以查看部署历史统计信息,执行统计信息以及日志文件。

  • 资源 -> 创建数据源:该页面可以像在数据库概要文件页面上一样的创建数据源,不同的是在该页面创建的数据源既可以是 WebSphere Application Server 的数据源也可是独立的数据源。这些数据源为数据仓库应用程序中有对数据库进行操作的控制流所使用。在
  • 资源 -> 管理数据源 : 该页面可以查看到所有的数据源,并可以对它们进行测试,修改或删除。另外还可查看有些数据库应用程序依赖于该数据源。
  • 资源 -> 创建系统资源:该页面可以创建系统或 DataStage Server 连接,这些系统资源为数据仓库应用程序中某一个控制流所使用。
  • 资源 -> 管理系统资源:该页面可以查到所有的系统资源,并对它们进行测试、更新或删除。另外还可查看有些数据库应用程序依赖于该系统资源。
  • 数据仓库应用程序 -> 部署数据仓库应用程序:该页面用于安装新的数据仓库应用程序。可以将本地或远程的数据仓库 ZIP 文件部署到应用服务器系统、映射数据源和系统资源以及定义布署变量、运行时变量和实例变量的值。
  • 数据仓库应用程序 -> 管理数据仓库应用程序:该页面可以更新、启用、禁用和卸载数据仓应用程序。查看应用程序的详细信息或监视所有列出应用程序的状态。
  • 进程 -> 管理进程:该页面可以启用、禁用、更新和验证应用程序中的进程。查看进程的详细信息或监视所有已列出的进程的状态。
  • 进程 -> 管理进程概要文件:进程概要文件就一组变量值。在该页面或创建和管理进程概要文件以及使用它们启动新的进程实例。
  • 进程 -> 运行管理进程:在该页面可以配置和删除进程时间表并为所先的进程创建新的时间表。
  • 进程 -> 管理进程时间表:进程时间表用来指定进程在未来的某一时间运行一次或以某一个预先定义好的时间间隔。在该页面可以配置和删除已安排的进程的列表。也可为所选的进程创建时间表。
  • 进程 -> 监视进程实例:该页面用监视实例状态、查看统计信息以及进行故障诊断箭。暂挂、继续执行或停止处于中间状态实例并删除处于最终状态的实例。
  • 故障诊断 -> 管理失败实例:该页面用查看失败实例的详细信息并重新启动或删除它信。查看每个故障的诊断信息。
  • 历史记录和统计信息:这部分可以查看部署历史记录、查看进程实例的统计信息和查看进实例的摘要信息。
  • 日志和跟踪:这部分可以查看进程日志和查看服务器日志。

DWE OLAP :这部分提供 OLAP 功能,可以用于管理、优化以及查看对于多个数据库的查询。

  • OLAP 管理:该页面导入、导出映射于立方体模型。也可以查看查某一数据中已有的立方体模型。
  • OLAP 优化:为了提高 OLAP-style 的 SQL 查询的性能,可以在该页面优用 OLAP 元数据。并运行优化之后生成的数据库脚本,这些脚本会创建或更新总结表与索引。你可以使生成的总结表来对你的查询进行分析。
  • 查看 OLAP 内容:在该页面可查看立方体模型的元数据信息。可以以事实对象、维信息或立方体的形式来展现立方体的具体信息。

DWE 挖掘:这部分提供的功能有查看、导出、更新以及从挖掘数据库中删除挖掘模型。在这部分向挖掘数据中导入模型以及将模型载入缓存中。另外提供的挖掘模型展现工具可以将挖掘模型以多种图形方式展现出来。在该版本中支持相关挖掘模型、聚集挖掘模型、分类挖掘模型以及回归挖掘模型。

  • 模型管理:该页面可以查看、导入、导出、更新或删除挖掘模型。并可以将挖掘模型加入到高速缓存中。
  • 模型高速缓存管理:在该页面可除去在模型管理页面加入的模型。还可以更改高速缓存大的小,即可以存储在高速缓存中的最大已释入的模型数。

InfoSphere Warehouse 9.5.X Administration Console

InfoSphere Warehouse 9.5.X Administration Console 所采用的架构及技术

InfoSphere Warehouse 9.5.X Administration Console 仍然是基于 JSF 开发的 web 应用,相对于 9.1.X 的主要改变是与 ISC 进行了整合。

ISC ( 集成解决方案控制台 ) 提供了一个基于 Web 的集成多个产品和解决方案管理配置功能的统一的框架,该框架可为 IBM 的硬件软件等产品提供集成统一的操作管理控制台, 也可作为 IBM 之外的第三方产品或解决方案提供商集成管理控制台的基础框架。 利用 ISC,可以构建出具有一致风格的管理控制台模块。

在之前的版本中,DWE Admin Console 对于不同的 BI 功能组件提供了单点的控制,同时 DWE Admin Console 的实现还包含了与其他元素的交互,如 DB2 管理,硬件资源管理以及 WAS 管理。在 9.5. X 版本中通过与 WAS ISC 的整合,我们很方便的将 DWE,DB2 和 WAS 的管理统一到一个单一的平台上。

图 4. ISC 整合:对于各组件的单点控制
图 4. ISC 整合:对于各组件的单点控制

DWE Admin Console 在之前的版本是基于 J2EE 的 web 应用,所有的显示页面都是使用 JSF 技术的普通的 JSP 页面。在新版本中,为了使其整合于 ISC,我们需要通过 Portlet 技术对原有的实现进行封装。为了保持原有的 DWE Admin Console 的架构并且最大程度的复用已有的技术实现,InfoSphere Warehouse 9.5.X Administration Console 使用了下面的设计框架:

图 5. DWE Admin Console 在 ISC 的整合
图 5. DWE Admin Console 在 ISC 的整合

整个 DWE Admin Console 包含两个部分,Base project 包含了原有框架结构的 DWE Admin J2EE 应用。新的 Portal project 作为 ISC 和 Base project 的接口,将实现一组 Portlet,这些 Portlet 将在 ISC 环境中封装 DWE Admin Console JSP 页面,每一个 Portlet 对应一个特定页面的 URL。最终 Portal project 将会作为一个插件化的组件被部署到 ISC 中,Base project 将仍然作为普通的 J2EE 项目被部署到 WAS 上。

图 6. InfoSphere Warehouse 9.5.X Administration Console 整体实现框架
图 6. InfoSphere Warehouse 9.5.X Administration Console 整体实现框架

InfoSphere Warehouse 9.5.X Administration Console 的改变与新特性。

InfoSphere Warehouse 9.5.X Administration Console 在这个版本是部署在 WebSphere Application Server6.1.0.9 上并且与其集成在 ISC 中,引入用户角色管理及版本迁移等新特性。通过 URL:http://hostname:9060/ibm/console来对 Administration Console 进行访问,这个 URL 也就是 WebSphere Application Server Administration Console 的 URL,在登录页面填入用户名和密码即可登入。

公共这一部分的变动有:

  • 对资源管理的整合以及对资源的访问权限控制:资源管理整合目的是希望通过一个链接来实现在资源的创建和管理。在 DWE9.1.X 中为 OLAP 管理和挖掘部创建数据源时,需要访问 DWE 公共部分,而为 SQL 仓储创建数据源时需要在该部分的资源部分来创建。资源整合后,避免了功能的冗余。SQL 仓储部分资源访问权限控制是为了增加资源的安全性。在创建资源时,可将其定义为公共,或为限制为 Administrator、Operator 或 Manager 角色的用户所用,也是是为某一个用户私有。这样做的目的是只有被授权的用户才可以资源进行操作,增加了安全性。
    图 7. 公共资源管理页面
    图 7. 公共资源管理页面
  • 引入用户角色管理:引入这一个新特性是目的是为了能够通 Web 接口来实现将 Administration Console 的用户与角色的映射而不必依赖于 J2EE 应用来实现,二是 Administration Console 的用户能够通定义一个访问控制表来实现对资源的访问控制。
    图 8. 公共用户和角色管理页面
    图 8. 公共用户和角色管理页面
  • 将日志的管理与 SQW 的故障诊断都移入到公共部分。这样做是为了将公共的功能集中进行管理。

SQL 仓储:引入部署更改功能,引入这一功能是为了使 InfoSphere Warehouse Administration Console 的用户的能够对已经部署的数据仓库应用程序进行修改。在前一版本中,如果想对已部署的数据仓库应用程序进行修改,只能通过在 Design Studio 中创建了包含修改的新的数据仓库应用程序,在 Administration Console 用一个不同的名字进行部署之后,再删除原来的数据仓库应用程序。引入了部署更改之后,就可以将一个包含修的数据仓库应用程序部署在已经存在数据仓库应用程序之上,而不用影响已有应用。

图 9. SQL 仓储的部署更改页面
图 9. SQL 仓储的部署更改页面

Cubing Services: 引入 Cubing Services 来替代 DB2 Data Warehouse Edition 9.1.X Administration Console 的 DWE OLAP。InfoSphere Warehouse 9.5.X 引入了集成 Cubing Services 是为了提供一个 Web 接口以实现对 Cubing Services 任务操作的管理。管理任务用来管理新的 Cubing Services 模块。这些模块包括有立方体服务器,立方体以及关系型数据源,它们存储于一个存储库中。 Cubing Services 被设计用来为关系型数据中数据的提供了一个多维的视图。可以使用 Cubing Services 来创建、编辑、导入、导出以及部署基于关系型数据仓库模式的数立方体模型。在 Administration Console 的 Cubing Services 可以管理立方体服务器 , 导入和导出立方体模型,查看立方体模型,以及优化 OLAP 元数据。

图 10. Cubing Services 管理立方体服务器页面
图 10. Cubing Services 管理立方体服务器页面

挖掘:这一部分没有变动。


InfoSphere Warehouse 9.7 Administration Console

InfoSphere Warehouse 9.7 Administration Console 所采用的架构及技术

InfoSphere Warehouse 9.7 Administration Console的最大改变是被整合到 Data Studio 产品中成为其 warehouse tooling 的一部分。Admin Console 需要同时支持 Data Studio 和 InfoSphere Warehouse。根据 Warehouse tooling 框架结构的改变,许多由 Admin Console 管理的公共功能页面,例如资源管理和调度管理都被整合到了通用服务器框架中。通用的 Warehouse tooling 服务器框架将提供能够运行于任何 web 容器的服务。Admin Console 则将主要致力于为 SQW admin, Cubing Services admin 以及 Mining admin 的功能提供插件化的 web 组件。

图 11. InfoSphere Warehouse 9.7 Administration Console 整体实现框架
图 11. InfoSphere Warehouse 9.7 Administration Console 整体实现框架

基于新的框架,InfoSphere Warehouse 9.7 Administration Console 在各个层次的实现上也有了很大的改变 :

  • 展现层 :展现层提供 Admin Console 组件的 UI 视图。与以往版本不同的是,web 页面的实现主要运用了 Flex 技术。Adobe Flex 是用于构建和维护在所有主要浏览器、桌面和操作系统一致地部署的极具表现力的 Web 应用程序的高效率的开放源码框架。在 9.7 中使用 Flex 可以提供更好的页面展现和用户体验,同时也增强了产品的易用性。
  • Bean/Controller:这一层控制所有 Admin Console 的应用逻辑与服务器框架的服务交互,提供展现层所需要的各种信息。与以往版本不同的是,在这个新的架构中,web 应用是基于 Spring web 框架实现的。应用逻辑的实现使用了 Spring web MVC 模型。由于底层使用了 OSGI 的体系框架,Spring 和 OSGI 的结合,为开发 Web 应用提供了巨大的灵活性和动态部署能力。
  • 服务器架构 :这一层次提供了与 Warehousing tooling 运行时和 ISW 各个组件的交互。同时也提供了针对公用模块的服务,如 : 数据源,日志,邮件系统等等。为了使产品在未来能够运行于任何 web 容器,许多公用服务的实现我们已经不再依赖于 WAS,例如:9.5.X 版本使用了 WAS 的调度机制进行 warehouse 任务的调度,9.7 版本则使用了 Quartz 控制调度;9.5.X 版本使用 WAS 数据源来控制数据库连接,9.7 版本中则转而使用新近开发的 Connection management 组件。
表 1. InfoSphere Warehouse 9.7 Administration Console 相比较以往版本的变化
Data Studio / ISW CobraDWE 9.5.X
Web Framework Spring JSF
Web application Spring web/portlet J2EE web app + portlet wrapper
UI widget Flex JWL
Major language MXML/ActionScript/Java JSP/JAVA
Database connection Resource services(Connection management) WAS data source
Scheduler Scheduler service(Quartz) WAS scheduler
Libraries OSGI service bundle WAS shared library

InfoSphere Warehouse 9.7 Administration Console 的改变

InfoSphere Warehouse 9.7 Administration Console 采用了 Adobe Flash/Flex UI 技术来构建多格式文本的 WEB 应用,使页面极具表现力,而且支持 WEB 无障碍性,增强的处理工作流带来了更好的易用性,给客户带来的全新的体验,不仅包含了 InfoSphere Warehouse V9.5 Administration Console 的所有功能而且还在各个组件中引入了新特性。

图 12. InfoSphere Warehouse V9.7 Administration Console 欢迎页面
图 12. InfoSphere Warehouse V9.7 Administration Console 欢迎页面

SQL 仓储引入改进的用户界面体验以工作流。采用新的时间表带来更好的易用性,在 InfoSphere Warehouse 9.7 中 Administration Console 不再使用 WebShpere Application Server 的时间表,而是使用开源的“Quartz”时间表。同时引入命令行接口来扩展功能。使用开源的“Quartz”时间表,减少了对 WebShpere Application Server 的依赖,为今后支持其它主流应用器打下基础。命令行接口可以实现对 SQL 仓库管理的自动化。

Cubing Services 同样是改进了用户界面体验。增强了优化顾问程序,支持维安全性、远程立方体服务的启动 / 停止以及虚拟立方体。

在 InfoShpere Warehouse V9.5.2 中运行优化顾问程序时,用户不能进行其它操作,而这一操作有时候要持续很长时间,用户只有等待该操作结束。在 InfoSphere Warehouse V9.7 中,这一操作改为在后台中执行,用户同时可以进行其它的操作。

图 13. 优化顾问程序界面
图 13. 优化顾问程序界面

InfoShpere Warehouse V9.5.2 能够提基于 Cube 这一级的安全性,可以定义某一角色的用户是否有权访问某一 Cube。维安全性提供了粒度更细的安全性,可以到维这一级。可以用来限定某一权限的用户是否可访问全部或部分的维成员,或是不能对其进行访问。

图 14. 维安全性界面
图 14. 维安全性界面

虚拟立方体:用户的数据仓库星型模型会随时间而更新。事实表会载入新的数据,维表也会因为产品信息的变化而发生更新。但是用户希望新的增的数据能够用于他们的分析,每天有很好的响应的速度,系统在白天都是可用的,只有在晚上的时候可以用很少的时间的离线。但是使用一个单一的大立方体意味着每一次刷新缓冲区都是一件非常耗时的事情。这使得达到上述要求很难。虚拟立方体的引入就是为了解决这一问题,提高查询速度。虚拟立方体将一个大的立方体的数据分成一个历史立方体与一个增量立方体。历史立方体避免经常性的变化,而增量立方体会经常的变化。

图 15. 虚拟立方体界面
图 15. 虚拟立方体界面

远程立方体服务器的启动 / 停止:Administration Console 之前的版本仅能支持对本地立方体服务器的启动和停止,这就极大的限制了用户对远程服务器的操作。InfoSphere Warehouse 9.7 引入了对远程立方体服务器启动和停止的支持,在创建立方体服务器的过程中,用户通过定义立方体服务器所在主机的详细信息来控制连接方式。并且,InfoSphere Warehouse 9.7 在启动和停止立方体服务器的方式上也有了改动,之前的版本都是通过调用 Cubing Services 的脚本文件来完成启动和停止的操作,新版本则通过开启一个 JVM 的进程来启动本地和远程立方体服务器,用户在创建立方体服务器的时候,可以定制服务器启动的 JVM 参数,这就有了极大的灵活性。

图 16. 创建远程立方体服务器 --- 主机详细信息
图 16. 创建远程立方体服务器 --- 主机详细信息
图 17. 创建远程立方体服务器 --- 立方体服务器 Java VM 属性
图 17. 创建远程立方体服务器 --- 立方体服务器 Java VM 属性

数据挖掘引入改进的用户界面体验。支持时间序列模型管理并且引入 Flex 时间序列模型展现器。时间序列模型可以根据过去一段时间内,实测值之间存在的某种稳定的关系,来做短期预测。

图 18. 时间序列模型展示器
图 18. 时间序列模型展示器

下面通过表格将三个版的 Administration Console 进行对比总结。

表 2. InfoSphere Warehouse 三个版本的对比
DWE9.5.X IWH 9.5.2 IWH 9.7
公共 为 OLAP 和挖掘创建 WebSphere Application Server 的数据源
  • 对资源管理的整合以及对资源的访问权限控制
  • 引入用户角色管理
  • 将日志的管理与 SQW 的故障诊断将日志的管理与 SQW 的故障诊断都移入到公共部分
Adobe Flex 界面
SQL 仓储
  • 创建数据源和系统资源
  • 部署、运行以及监控包含特定的可执行进程的数据仓库应用程序
  • 查看部署历史统计信息,执行统计信息以及日志文件
引入部署更改 Adobe Flex 界面
DWE OLAP/Cubing Services 提供 OLAP 功能,可以用于管理、优化以及查看对于多个数据库的查询 Cubing Services 替代
  • Adobe Flex 界面
  • 远程立体服务器启动 / 停止
  • 维安全性
  • 虚拟立方体
挖掘 查看、导出、更新以及从挖掘数据库中删除挖掘模型 无变化
  • Adobe Flex 界面
  • 引入时间序列模型以及 Flex 模型展示器

总结

通过本文,读者可以了解到 InfoSphere Warehouse Administration Console 三个重要版本 DB2 Data Warehouse Edition 9.1.X、DB2 Warehouse 9.5.X 以及 InfoSphere Warehouse 9.7 所使用的技术、框架和功能改进。在三个版本的发展过程中,产品大量的引进新特性,新功能,在优化用户界面的同时,努力改进系统性能,不断的带给用户全新的使用体验。

参考资料

学习

获得产品和技术

讨论

条评论

developerWorks: 登录

标有星(*)号的字段是必填字段。


需要一个 IBM ID?
忘记 IBM ID?


忘记密码?
更改您的密码

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件

 


在您首次登录 developerWorks 时,会为您创建一份个人概要。您的个人概要中的信息(您的姓名、国家/地区,以及公司名称)是公开显示的,而且会随着您发布的任何内容一起显示,除非您选择隐藏您的公司名称。您可以随时更新您的 IBM 帐户。

所有提交的信息确保安全。

选择您的昵称



当您初次登录到 developerWorks 时,将会为您创建一份概要信息,您需要指定一个昵称。您的昵称将和您在 developerWorks 发布的内容显示在一起。

昵称长度在 3 至 31 个字符之间。 您的昵称在 developerWorks 社区中必须是唯一的,并且出于隐私保护的原因,不能是您的电子邮件地址。

标有星(*)号的字段是必填字段。

(昵称长度在 3 至 31 个字符之间)

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件.

 


所有提交的信息确保安全。


static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=10
Zone=Information Management
ArticleID=438816
ArticleTitle=InfoSphere Warehouse Administration Console 的对比介绍
publish-date=09162010