级别: 初级 Holly Hayes, 项目总监,Data Studio,
IBM
2008 年 10 月 20 日 作为 IBM® 软件产品组合的新成员,
软件为跨整个生命周期(从需求到退役)管理数据和以数据为中心的应用程序提供了颠覆性方法。这篇概述性文章解释了 Data Studio 的远景和现状,以及您(不管是数据架构师、开发人员或测试人员、DBA 还是数据管理员)如何使用
Data Studio 提高生产率、提高服务质量以及更好地统筹不同的 IT 角色。
欢迎使用 Data Studio 软件!
IBM 已着手一项战略计划,该计划将交付一个集成的模块化数据管理环境,用于跨整个数据管理生命周期设计、开发、部署、操作、优化和治理数据、数据库和数据驱动的应用程序。通过关注整个生命周期并实现不同角色之间的协作,我们相信,这可以提高组织的生产率和效能,同时提高服务质量,降低拥有成本,并改善对不同数据、数据库和数据驱动应用程序的治理。
不同的工具为特定的数据管理角色和任务提供了强大的功能;更重要的是,组件之间可以无缝地互操作,从而允许跨角色协作,并提高了生产率和效能。而且,集成并不仅限于 Data Studio 产品,而将延伸到 Rational®、WebSphere® 和 Tivoli® 产品组合。
本文着眼于各个阶段和角色,阐明 Data Studio 软件如何帮助您从信息中获取更大的价值,以及如何帮助团队提高生产率和效能。
数据生命周期的端到端管理
如今,大多数组织拥有很多来自不同供应商的工具,可以支持不同的角色和任务。每种工具只注重提供丰富的特定于任务的价值,而没有考虑与生命周期中前一阶段或后一阶段的链接。如果在第一次设计数据时定义访问或保留策略,并使工具可以在各阶段和各工具之间传播该信息,会不会更轻松一点呢?通过 Data Studio 软件,可以支持生命周期中的每个阶段,为以数据为中心的任务和角色提供健壮的功能,并为设计和实现关键的跨阶段链接提供支持。下面是我们对以数据为中心的软件开发中关键阶段的定义:
-
设计 —— 发现、获取、建模和关联信息,获得对业务的通用语义理解。
-
开发 —— 编写、生成、测试、调优和打包数据访问层、数据库例程和数据服务。
-
部署 —— 安装、配置、更改和提升应用程序、服务和数据库,将它们投入到生产中。
-
操作 —— 管理数据库,满足服务级别协议和安全需求,同时提供对紧急问题的响应服务。
-
优化 —— 为应用程序和工作负载提供前摄性规划和优化,包括趋势分析、容量和增长规划以及应用程序的退役,包括执行战略以满足未来需求。
-
治理 —— 建立、交流、执行和审计策略和实践,使数据遵从政府、业界或组织的需求和法规。治理不限于单个阶段,它将涵盖整个生命周期。
跨组织协作
维护一致性是指跨组织角色进行通信、协作和澄清。用户和业务分析师需要捕捉需求。架构师负责设计过程、应用程序和数据模型。开发人员必须使用这些模型生成有效且高效的代码。管理员必须理解由法规遵从人员确定的安全和保留策略,并与网络和系统管理同事协作来实现一致的遵从性和服务协议。使用工具帮助每个人有效地跨角色和任务共享信息,这对于组织的生产率和效能至关重要。
完善的产品组合 - 新兴集成
如今,这个产品组合包含了各种不同的产品,包括 Rational、
Data Studio、Optim 和数据管理工具。IBM 为生命周期的每个阶段都提供了丰富而强大的功能。但是,随着时间的推移,令 IBM 产品脱颖而出的是实现了跨产品组合(不管是当前产品还是路线图)的集成,实现了价值增值,提供了公共用户界面、公共组件和服务以及共享工件。
-
公共用户界面
无论是基于 Eclipse 还是基于 Web,对于用户界面,
Data Studio 都采用一种标准的、集成的方法,以使角色之间的转换变得直观、容易。
产品组合包括一个基于 Eclipse 的用户界面,关注设计、开发、对象和以命令为中心的任务。在此,Data Studio 工具补充并扩展了
IBM Rational Software Delivery Platform。
IBM Data Studio 和 Rational 软件完全集成的特性简化了业务分析师、架构师、开发人员和管理员之间的协作。用户可以在同一个 Eclipse 实例中组合工具,提供任务之间的无缝转移,或者还可以在处于不同地理位置的小组之间共享对象,以便更轻松地维护一致性,同时更高效地工作。
与之相比,操作支持则需要随时随地进行监视和响应的能力。基于 Web 的用户界面支持面向操作的管理。通过使用 Tivoli 软件对 Web 交付的仪表板和 portlet 采用一种通用的方式,可以为跨操作栈进行监视、管理和聚合信息提供最大的灵活性,从而提高组织满足服务级别协议的能力。而且,跨数据服务器共享所有这些功能可以减少总体技能需求和成本。对于 z/OS 库,只要客户投资证明它们是值得的、可承受的,现有的 3270 界面将继续得到支持和扩展。
-
公共组件和服务
跨产品共享组件和服务可以帮助组织实现成本、生产率和一致性目标。例如,通过使用在公共 shell 实例中安装的组件,组织可以将客户机上耗费的资源减至最少,并降低工具部署成本。当工具共享组件(例如数据库浏览器)时,更容易将技能迁移至新产品。共享的服务,例如数据隐私服务,意味着不管是创建测试数据还是共享研究数据,个人身份证号将以一致的方式处理。
-
共享的策略、模型和元数据
这是真正将所有组件粘合在一起的黏合剂。能够表达策略供机器解释,将策略与数据模型或数据工作负载相关联,并通过共享元数据传达它们,这种能力是解决挑战的关键,也是获得最大价值的关键。共享元数据、开发和设计工件可以提高软件开发的一致性、控制力和效率。在数据库管理员和应用服务器管理员之间共享配置信息可以显著减少部署成本,同时提高服务质量。共享策略以及实现策略的服务可以提高安全性和遵从性。
异构的灵活性
大多数组织都存在异构性,因此产品远景涵盖了 IBM 和非 IBM 数据库。虽然我们将首先交付 DB2® and Informix® Dynamic Server 数据库方面的产品组合,但是我们也正在构建跨 Oracle、Microsoft、Sybase 和主要的开源数据库的产品组合。Rational Data Architect 和 Optim 解决方案已经支持很多种数据库。作为 Data Studio Developer 和 Data Studio pureQuery Runtime 的核心技术,pureQuery 作为 WebSphere sMash 的数据访问层,目前已经支持异构数据库,因此已经搭建好了平台。
以数据为中心的角色
现在将我们的注意力放到 Data Studio 支持的不同的关键角色上,让我们来看看关键的产品以及我们期望它们交付的价值
数据架构师 – 更好的数据质量和企业一致性
数据架构师的关键工具是 Rational Data Architect,这是用于发现、建模、关联和标准化数据的数据设计工具。与任何好的数据建模工具一样,它为不同类型的数据库提供逻辑和物理建模支持,并且支持自动化特性,从而简化诸如基于现有数据库的反向工程、从逻辑模型生成物理模型、从物理模型生成 DDL 以及可视化更改影响等任务。
图 1. 用于建模的 Rational Data Architect
除了核心的数据建模外,Rational Data Architect 还帮助数据架构师完成以下任务:
- 通过发现和识别模型之间的映射集成信息;与 InfoSphere Information Server 集成,以便进行联邦部署和元数据交换,以及与 InfoSphere Warehouse Design Studio 集成,实现数据仓库设计。
- 通过实施命名标准、业务术语集成和业界模型集成实现最佳实践。
- 通过模型之间的内置转换和对业务需求的清晰连接,实现跨过程、服务、应用程序和数据模型的架构一致性。
提供了一个丰富的产品路线图,包括利用 IBM Optim 支持打包的应用程序模型和受模型驱动的治理,从而支持在逻辑模型级别指定隐私和保留策略,并将其传播至物理模型。
开发人员 – 更好的生产率和更好的应用程序性能
Data Studio Developer 和 Data Studio pureQuery Runtime 现在针对的目标是以数据为中心的开发人员或应用程序 DBA,也就是那些构建存储过程、SQL 和 XQuery 语句、
数据库资源中的 Web 服务和数据访问层的人员。pureQuery 包括:
- Data Studio Developer 中交付的一个用于 DB2 和 IDS 的集成开发环境,用于加快以数据为中心的开发。客户和合作伙伴的报告表明使用该工具集可以使生产率提高 25% 到 50%。而且,该功能无缝地扩展了 Rational Software Delivery Platform 中的功能,例如 Rational Application Developer。特别是,Data Studio Developer 交付了与 Java 编辑器集成的 SQL 内容辅助、pureQuery 代码生成、用于 Data Power 部署的 Web 服务工具等等。
- 一个直观而简单的 API,通过对定制的 SQL 生成进行控制,平衡对象关系映射的生产率提升。
- Data Studio pureQuery Runtime 交付的一个运行时环境,允许部署到不同的后端数据库,同时利用 DB2 数据库的优化特性。内部测试和客户测试清楚地证明,DB2 访问的吞吐率实现两位数的增长。
开发人员可能会花相当多的时间来隔离性能问题:首先要检查一条特定的 SQL 语句,接着是源应用程序,然后是原始代码。三层架构和流行的框架使得这种隔离更加困难,因为开发人员可能永远看不到由框架生成的 SQL。Data Studio Developer 1.2 通过提供一个概要来跟踪 SQL 语句回到源应用程序中的原始代码行,甚至使用诸如 Hibernate、OpenJPA、Spring 之类的 Java 框架,使隔离问题变得更加容易。
图 2. Data Studio Developer 中的概览视图
测试人员 – 更好地测试数据,同时不会暴露敏感信息
测试人员的关键角色是保证应用程序的质量。过去,测试人员克隆或提取真实的客户数据试图提供具有上下文的准确数据,但是简单的提取还不够。测试数据需要能够反映应用程序处理的约束以及错误和边界条件。IT 员工还需要保护机密数据和个人身份信息(PII),例如银行帐号和身份证号。Optim Test Data Management Solution 与 Optim Data Privacy Solution 共同创建了一个 “模拟生产的” 测试环境,该环境能准确反映端到端的业务流程,同时不会识别敏感信息,从而为创建测试数据提供完美的选择。它内置了有关打包应用程序业务对象的知识。
数据库管理员 – 增强控制,有效隔离问题
为 DBA 提供支持的工具数量太多,在此无法一一列举,不过可以在
Tools for z/OS 和
Tools for DB2 for Linux®, UNIX®, and Windows®
中找到更多的信息。所以我们不一一细察各个工具,而是关注于策略优先级,并查看可以解释这些策略的特定工具的例子。
给予 DBA 更多的控制
随着时间的推移,DBA 控制数据库性能的能力逐渐减弱,至少比以前困难得多,因为应用程序栈中出现了更多的层。SQL 由框架而非程序员生成,数据库连接由系统管理员而非 DBA 管理,而动态 SQL 则使得安全管理更加复杂。
我们认为,DBA 乐意通过使用静态 SQL 获取更多的控制,而现在可以使用 Data Studio Developer 和 Data Studio pureQuery Runtime 1.2 中提供的新的客户机优化(client optimization)技术,通过现有 Java 应用程序轻松获得控制。这是一种新的性能优化方法,这种方法关注如何优化来自数据库客户机的数据库访问,而不是仅限于数据库引擎内部。客户机优化捕捉 Java 应用程序中的 SQL,使管理员可以将该 SQL 绑定到 DB2,以便进行静态执行,而不必更改任何应用程序代码。无需任何代价即可获得静态 SQL 的所有好处 —— 使响应时间稳定、减少安全风险、提高吞吐率。
进一步的增强包括为 DBA 提供应用服务器性能控制,最终使客户机配置具有可管理性。
信息整合
曾经花 3、4 天的时间将一个性能问题隔离到一个特定的查询,然后再花几天的时间将它隔离到应用程序?性能问题非常难于隔离,因为问题可能出在应用程序、应用服务器、数据库客户机、网络、数据库服务器或操作系统中。每一层都有性能信息,但是没有提供聚合的信息。一个关键的目标是为管理员提供聚合和关联信息的能力,使他们能快速地隔离问题,隔离的范围不仅包括引起问题的 SQL 语句,还包括发生问题的应用程序源代码。
当然,性能监视器 DB2 Performance Expert 和 Tivoli
OMEGAMON XE for DB2 Performance Expert on z/OS 提供了大量关于它们各自数据库服务器的性能的信息。Tivoli 软件收集关于应用服务器、网络和硬件设备的信息。Data Studio Developer 1.2 概览视图增加了一个功能,可以将 Java 代码、SQL 语句和表信息联系起来。但是,真正的诀窍是将它们整合在一起。未来将计划对性能监视器进行增强,并集成 Tivoli 软件,这将提供跨整个应用程序栈的全面视图,从而轻松实现问题隔离。
提供特定于任务的流程和上下文
随 DB2 数据库一起免费提供的 Data Studio 管理控制台提供了一个特定于任务的流程示例,从中可以一窥基于操作的用户界面的未来前景。健康监视仪表板可以检测阈值条件,警告管理员存在的问题。控制台内置了决策树,用于完成根本原因分析,并自动显示相关的配置参数和性能指标,以及解决问题的建议。
图 3. Data Studio 管理控制台
类似地,Data Studio Administrator 提供一个向导式更改管理过程,该过程可以可视化依赖关系,生成可定制的部署脚本,管理模式、对象、数据及授权迁移更改。Data Studio Administrator 提供一个基于 Eclipse 的 UI,这对于对象管理和以命令为中心的任务十分有用。
图 4. Data Studio Administrator
使工具更智能
我们正在朝着自治操作的放心发展,将最佳实践和顾问功能集成到工具中。一个例子就是 DB2 Optimization Expert for z/OS。Optimization Expert 提供一套全面的工具和专家建议,帮助识别和改进有问题的查询。它支持对单个查询调优以及通过基于分析的监视调优工作负载。顾问程序(advisor)针对性能改进所需的统计信息提供了广泛的建议,并提供新的索引来改善响应时间,还提供查询和访问路径建议。
图 5. DB2 Optimization Expert for z/OS
战略增长规划
过度增长的数据库会损害任务关键型 ERP、CRM 和定制应用程序的性能。Optim Solutions 从源头解决数据增长问题 - 管理企业应用程序数据。Optim 使您可以归档历史事务记录,安全、经济地存储它们。由于需要处理的数据更少,因而可以加快报告速度,并提高任务关键型业务流程的响应速度。
数据管理员(或者使用其他称呼的人员) – 更好的一致性,更低的风险
数据管理员(data stewardship)通常指业务部门中直接向高级主管提交报告的人员,但是要实现数据管理员的职能,通常涉及到安全管理员、遵从性管理员或数据库管理员。
数据治理有很多方面:可用性、安全性、隐私性、质量、审计和保留等等。这些任务通过不同的工具来完成,虽然这样的工具很多,但是很少有工具能够真正聚合遵从性。IBM 提供了一个健壮的数据治理工具产品组合,该产品组合涵盖前面提到的所有方面。产品组合的关键目标是:
遵从性理解工具
我们不是靠蛮力来实现遵从性计划,我们相信工具本身应该在如何最佳地遵从特定法规需求方面提供智能。一个例子就是 Optim Data Privacy Solution,它是随预打包的智能数据屏蔽例程一起发布的,用于转换复杂的数据元素,例如信用卡号、电子邮件地址和身份证号,遵从 HIPAA、GLBA、DDP、PIPEDA、Safe Harbour、PCI DSS 等。
整个生命周期内的一致性
我们希望提供一次性定义治理策略,然后在适当的情况下跨产品组合栈实现它们的能力。沿着这个方向,第一步是前面提到的模型驱动治理。通过使用数据模型作为关键的架构中心,隐私和保留属性应该可以被传播到其他基于模型的工具中,例如 Optim Data Privacy Solution
或 Optim Data Growth Solution。
一致的可审计性
在大多数企业中,收集审计数据很大程度上是一个手动的过程。我们希望能轻松地获取这些信息,并使审计员可以访问这些信息。一个例子就是 DB2 Audit Management Expert:它是为审计员构建的,它使审计员不必获得对受审计数据库的自由访问权,即可回答与数据库对象相关的谁、什么、何时、何地以及如何等问题。我们计划通过 Tivoli Insight Compliance Manager 聚合企业中的信息,它提供跨数据库、操作系统、应用程序和网络的端到端审计。
结束语
无论您是数据架构师、开发人员、测试人员、管理员或是数据管理者,Data Studio 产品组合都能够帮助您提高效率和效益。但是更重要的是,Data Studio 产品组合和路线图正在交付一个协作型的集成数据管理环境,该环境将提高组织的生产率和效率,同时提高服务质量,降低成本,改善对不同数据、数据库和数据驱动应用程序的治理。希望了解本文的示例后,您会赞同这一点。
参考资料
关于作者  | 
|  | Holly Hayes 是 Data Studio Enablement Team 的项目总监。她在 IBM 工作了 27 年以上,担任过开发、策略、销售和管理方面的职位,从事操作系统微代码、复制技术、数据仓库基础设施、数据库管理和信息集成技术方面的开发。她一直是业界会议和客户简报方面的主要演讲者,并且经常发表业界文章、分析研究和其他出版物。她拥有复制技术的美国专利。 |
对本文的评价
|