级别: 初级 Lily Ryzebol (lily@ca.ibm.com), DB2 客户技能、支持和服务领域的项目经理,IBM Toronto Lab
2004 年 3 月 01 日 数据仓库和商业智能项目需要特定的且非常出色的技术技能。它不是件平庸的工作,需要从许多不同的来源收集数据并确保其有效性,然后对其进行可靠、正确的组合、构造、存储、发布和分析。这需要充分了解信息分析技术和数据仓库和商业智能技术。此外,还需要一定层次的业务才干以懂得商业智能技术如何可以支持组织内的决策过程。
商业智能(BI)是什么?
商业智能(Business Intelligence,BI)系统使组织能够通过利用客户、供应商以及内部业务操作的有关信息来提高商业性能。BI 系统的最终目标是使用户能够消费大量有关数据,对其进行分析从而使企业有机会增加收入或者节省成本。BI 系统通常需要:
- 从多个来源收集数据 —— 例如整个公司的事务数据库和诸如客户关系管理与供应链管理的不同相关应用程序。
- 集结、组织以及标准化仓库中的信息,比如数据仓库和数据集市中的信息。
- 提供分析工具,以支持专家运行数据查询以及发现模式和潜在的诊断问题。
抽取、转换和装入(ETL)
通常将从多个源应用程序(内部的和外部的)收集事务数据称作抽取(Extract)、转换(Transform)和装入(Load),缩写为 ETL。首先从无数的应用程序或仓库中
抽取数据。然后,普遍地将之
转换为符合便于在数据仓库中进行分析的模式。此外,还发生了其他转换,比如 EBCDIC 到 ASCII,压缩十进制到整数以及日期格式的改变(例如 mmddyy 到 yyymmdd)。最后,将数据
装入到数据仓库中。
集结、组合和标准化
数据仓库是为高性能的复杂查询而设计的关系数据库。一旦将数据装入到数据仓库或数据集市中,该数据仓库就成为了一站式商店(one stop shop ),用于预测库存、开销和收入;一般对于任何情况,都可用历史性能来预测趋势。这里重要的是要注意数据集市与数据仓库之间的区别。大多数数据集市是特定于应用程序的,致力于解决一组特殊的业务问题,而数据仓库主要是为了集结所有业务领域的信息。
分析和报告
技术和业务分析员使用各种各样的工具访问数据仓库中的数据,分析信息并且查看结果。最常用的有:
-
查询和报告工具
这些工具支持用户对数据仓库中所存储的信息执行切片(slice)和切块(dice)类型的历史分析。典型查询类似于:
第三季度期间南部地区所有商店的总收入是多少?工具通常都为这些查询提供了预建的查询和报告。
-
门户(Portal)
查询结果和报告可通过特定的桌面应用程序、企业网或外部门户来交付,以便特定的读者进行查看。例如,许多执行人员都基于趋势做出决策,而这些趋势是由作为他们的经理门户一部分的关键性能指示报告所预测出来。
-
联机分析处理(Online Analytical Processing,OLAP)和数据挖掘
OLAP 分析引擎和数据挖掘工具允许用户执行预测性多维分析,或下钻分析。这些工具可用于预测、客户分类分析、趋势分析甚至诈骗检测。在客户分类分析方面,可基于通用性将客户分段,然后可预测谁将放弃该企业以及谁将购买更多产品。其他
OLAP 分析一般回答“如果……将会……(what if)”和“为什么(why)”等类型的问题。例如,
如果将 New Hampshire
地区的罐装金枪鱼的价格增加 5% 将会带来什么结果呢?
商业智能现状
据市场分析员介绍,商业智能已经成了企业信息技术最为重要并且极具潜力的领域。为什么会这样呢?的确,在当今的经济环境中,所有市场中所有规模的企业都需要额外的杠杆才能得以生存。而该杠杆通常来自于关键决策者们,他们能够快速访问评估市场状况所需的商业信息。
这就难怪 International Data Corp.(IDC)这个 IT 行业中最早的全球市场智能和顾问公司预言,商业智能系统的市场规模到
2006 年将翻倍且在世界范围超过 140 亿美元。其他诸如 Meta Group 的分析员也相信数据库行业的重点正从事务处理转向业务分析方法和数据仓库功能。
确保已为 BI 项目做好准备
数据仓库和商业智能项目需要非常出色的技术技能。这绝非是一个普通项目,它需要通过许多不同的来源收集数据,对其进行验证、组合、适当构造、可靠存储、发布和分析。您必须充分了解数据仓库和商业智能技术。除了那些技术技能之外,还需要知道商业智能技术如何帮助组织做出决策;这也需要业务知识。
开始学习 BI 技能
关系数据库技能是商业智能的基础。构建 BI 技能的第一步就是学习和使用 DB2® Universal Database
TM(UDB)。您可以获得许多参考资料 —— 课堂课程、基于计算机的课程、在线教程、课本与认证教学。
下表概述了用于培养 DB2 UDB 技能的主要参考资料。
DB2 UDB 技能参考资料
获得 BI 认证
IBM 为 BI 提供了一个 IBM Certified Solution Designer - DB2 Business Intelligence V8 认证。这需要完成两门考试:
图 1. BI 认证路线图
由于关系数据库技能是 BI 的基础,所以 Test 700: DB2 UDB V8.1 Family Fundamentals 是成为 IBM Certified Solution Designer - DB2 Business Intelligence V8 的先决条件。这个特殊的考试包含 54 道多项选择题,并且要求 61% 以上的正确率才算通过。该考试涵盖了 DB2 UDB 产品、功能、安全性、对象、事务以及 SQL 等方面的知识。
Test 705: Business Intelligence(BI)Solutions v8.1 是证实您具备基本 BI 概念和设计开发及支持 BI 系统等方面的知识的理想方式。该认证将确保您的技能是现行且相关的,并将提高您在 BI 项目方面的信誉。
Test 705 包含 56 道多项选择题,其完成时间为 75 分钟。通过考试最低需要获得 58% 的正确率。例如,56 道题目就必须正确回答 33 道。56 道考试题基于 BI 的四个方面:
BI
认证主题
|
|
名称
|
示例
| | 1 | 商业智能术语、功能和区分器(Differentiator) | 定义 BI 术语
区分数据集市和数据仓库
阐明 BI 的好处
| | 2 | 搜集 BI 客户需求 | 确定用户数目、查询类型、查询数目和用户工作表 | | 3 | 确定商业智能数据源 | 确定不同的数据源(公司内外的,可运作的与不可运作的)
确定抽取和转换数据的方法
| | 4 | 商业智能解决方案体系结构 | 建立逻辑数据模型 |
有多种方式为参加 BI Solutions 考试作准备,包括参加课堂课程。我个人推荐阅读 Mike Biere 的书 Business Intelligence
for the Enterprise(ISBN 0131413031)。该书就是为准备 BI Solutions 考试而写的,它将介绍准备考试需要知道的一切内容。
我也推荐参加 IBM 所提供的样本考试。这是对于在真正的考试中将出现的问题类型的实际操练。要参加样本考试,请到
http://www.ibm.com/developerworks/cn/dmdd/certify/tests/sam700.shtml并链接到 IBM Certification Exam 工具。如果您是第一次参加,就必须要注册。然后,您可以从可选的 DB2 考试清单中选择 BI Solutions 考试。样本考试的题目将一道接一道地提出,且必须在规定时间内完成。这对于为真正的考试环境做好准备确实是一种非常好的方式。
其他课程和参考资料
IBM 提供了关于培养 BI 技能的技术培训的综合一览表。下表总结了与 BI 有关的可用课程。
BI
课堂课程
|
课程代号
|
课程名称
|
持续时间(天数)
|
描述
| | DW030 | Introduction to Business Intelligence and Data Warehousing | 2 | 获得对于 DW 的结构成分、其功能和实现过程的理解。学习将 BI 的概念与其代表使用场景联系起来。确定选中的产品及其用于实现 BI 的关键功能。
该课程适用于数据架构师、数据模型构建者、面向技术的项目领导、数据库设计师和管理员
| | XDW01 | Data Warehouse Mastery Program | 12.5 | 该课程可通过将 DW 110、DW120、DW130(见下面)、附加的自学材料和督导电话会议结合来加以定制。这是一个帮助您培养数据仓库方面的技能非常全面的计划。该计划通过相关内容、考验案例研究、督导和练习,详述了成功企业一类数据仓库和数据集市的主要维。
该课程适用于数据仓库模型构建者、数据管理员、信息分析员、项目经理以及设计和实现有效的数据仓库解决方案的技术专业人士
| | DW110 | Building the Data Warehouse | 4.5 | 学习用于设计和构造数据仓库(DW)以及提供全面的商业智能(BI)解决方案体系结构的实践方法和技术。在增量过程环境中应用该技术,适合于从部门或功能工作组的角度来构造
DW 和 BI 解决方案。还将学习如何进一步扩展该过程,以构造一致的、公司范围的数据仓库 | | DW120 | Advanced Data Warehouse Workshop: Multi-Dimensional Modeling | 4 | 该课程集中介绍关系在线分析处理(Relational Online Analytical Processing,ROLAP)和多维在线分析处理(Multidimensional
Online Analytical Processing,MOLAP)的设计技术 | | DW130 | Advanced Data Warehouse Workshop: Extract, Transform and Load | 4 | 查看并评估超大型数据库(Very Large Databases,VLDB)和标准数据仓库填充系统的解决方案模型。将这些解决方案模型映射到技术和商业可用软件工具中 | | DW180 | Advanced Data Warehouse Workshop: VLDB Issues and Solutions | 3 | 学习确定经常阻碍成功实现数据仓库(DW)和商业智能(BI)解决方案的关键问题。发现由 IBM 顾问专家了解到的经验教训以及被 IBM
Teraplex Center 所称赞的提示和技巧 |
我发现 IBM 课程路线图在确定按何种次序参加哪些课程时非常有用。BI 课程路线图位于
http://www-306.ibm.com/services/learning/us/catalog/bus/roadmaps/。例如,Business
Intelligence and Data Warehousing Overview 路线图如下所示:
图 2
不断跟上最新动态
首先最重要的就是,将
http://www.ibm.com/software/data/db2bi/添加到书签中。这是一个 IBM DB2 商业智能站点。您将在该站点找到关于新版本、白皮书、红皮书、零售出版的书籍或教程的任何信息。例如,该站点上现在正推出在线教程,题为
BI Tutorial: Extended Lessons in Data Warehousing。该教程为公司的数据库管理员提供了案例学习。公司的财务部需要定期跨地域地对所有售出产品的销售收入进行追踪、分析以及预测。在该教程中,您将学习如何维护现有的数据仓库以及如何使用仓库元数据。阅读该教程大约需要一个小时。
另一个跟上 BI 技能最新动态的场所就是 DB2 developerWorks 站点(
http://www.ibm.com/developerworks/cn/dmdd/index.shtml)。该站点为
DB2 信息管理软件提供了无数的技术参考资料。定期访问将有助于您通过新文章、教程以及新闻和事件跟上最新动态。然而,如果您正寻找特定的信息,您可以访问位于左边导航栏上的文档库。该文档库包含了种类繁多的参考资料。诸如 DB2 信息管理软件方面的图书 —— 新近出版的图书、IBM 红皮书和手册等都可以在那里找到。还可获得白皮书 —— 这些是包含了某个特定主题技术信息的 IBM 开发文档。
我还推荐订阅 DB2 Magazine(
www.db2mag.com)。这是一种涵盖了 DB2 的各种主题的季刊,专用于数据库管理员、分析员、程序员、设计师和顾问。其文章是由该领域中的专家所写,并且比较及时。除了这一季刊,您还可以通过订阅每月的 DB2 Magazine e-mail 获悉最新消息。该杂志一般会包括几个有关于 BI 的主题。在他们的网站上,您可以通过从左边的导航栏上选择 Magazine 后选择“Browse Articles By Topic”来查看 BI 文章。从那里选择 Business Intelligence 就可查看到与 BI 相关的所有近期文章了。
国际 DB2 用户组织(International DB2 Users Group,IDUG)也是获得最新 BI 技能的好资源。这是一个用户运作的独立组织,其使命是通过提供用以促进 DB2 家族产品的有效使用的教育和服务,来支持和加强信息技术社区。IDUG 提供了范围宽广的有用信息,包括区域用户组织、论坛以及大会:
- 区域用户组织定期集会,特邀 DB2 专家和销售伙伴等演讲者对特定主题发表演讲,并且提供产品演示。
- 论坛是一种极佳的途径,用以与同事联网以及了解行业的提示与技巧。
- 大会在全世界举行,提供了非常好的场地来听取数据管理技术和商业智能方面的最新趋势、技巧和技术。
谈到大会,另一个非常好的机会就是 IBM 数据管理技术大会(Data Management Technical conference)。它每年举行一次,通常是在 9 月到 10 月间。该大会召集了各种专家,他们在主题会议、演讲和围桌讨论中提出见解和建议。它主要针对数据库管理员、应用程序员、系统程序员,当然还有数据仓库和商业智能构架师。您可以在
http://www-3.ibm.com/services/learning/conf/us/dm/
找到关于 IBM 数据管理技术大会的更多信息。
结束语
由于商业智能和数据仓库成为了商业运作中很大的一部分,所以拥有有关该技术的正确技能变得越来越重要。实现商业智能系统涉及从许多不同的来源收集数据,进行有效性验证并适当地构造数据,然后将之存储到数据仓库中,并使之对用户可用以进行分析。为了完成该工作,您必须拥有精湛的技术技能并懂得 BI 系统将如何帮助组织创造增加收入或者节省成本的机会。您可以获得许多参考资料,用以构建您的 BI 技能。IBM 提供了 BI 认证,这是一个确认您的 BI 概念知识的非常有用的方式。IBM 还提供了零售的图书和课堂课程。在参加完认证以及学习课堂课程之后,仍然有必要不断跟上 BI 的最新发展。为此,我推荐您经常访问 DB2 Developer works,积极阅读 DB2 Magazine,并且成为 IDUG 的热情成员。
参考资料
关于作者  | |  |
Lily
Ryzebol 现在是 DB2 信息管理(Information Management)客户技能、支持与服务领域的项目经理。以前在
DB2 中,Lily 提供了对世界范围 DB2 UDB 用户社区的技术支持。这包括系统测试、问题判断、性能调优以及数据恢复。Lily 到处拜访 DB2 客户,并在 DB2 技术大会上发表演讲。Lily 是《DB2 for Dummies》的合著者。
|
对本文的评价
|