内容


IBM Rational Quality Manager V2.0 版本服务器评估指南

Comments
下载试用版:IBM® Rational® Quality Manager  |   IBM® Rational® Team Concert
获取免费的 Rational 软件工具包系列,下载更多的 Rational 软件试用版

引言

本文向销售团队与客户,提供了关于怎样为 IBM® Rational® Quality Manager 2.0 版本指定适当部署结构的指导。它提供了对在 Rational Quality Manager 2.0 版本上所执行的性能测试的分析与结果,并描述了这些结果是怎样指定有效的硬件与部署拓扑结构的。

本文并没有提供关于 Java™ 2 平台,Enterprise Edition(J2EE)评价的概述,而且也没有涉及到大规避部署中使用的调试参数。

声明

每一个 Rational Quality Manager 安装与配置都是独一无二的。该文件中报告的性能数据对于使用的产品软件、测试配置、工作负荷与操作环境来说都是特定的。报告数据应该是独立的,因为其他环境或者不同条件下获得的性能数据可能会发生显著的变化。

关于服务器大小的建议

表 1 详细描述了根据该文件中提供的测试结果而建议的服务器大小。特定部署的性能最终取决于大量的因素,包括(但是并不是仅仅限定于)用户的数量,工作负荷,资源的数量与混合,网络拓扑结构,硬件及软件的调试,网络交流的呈现等等。因此,这些建议可能并不适合于本文中所描述状况与工作负荷所得来的部署。这些测试会试着模拟一种实际的工作负荷,但是没有模拟可以完全代替末端用户团队的实际复杂操作行为。

接下来所有的建议都假设您有一个服务器级别的机器(例如,IBM® System x® 或者更高级版本),拥有一个快速的 RAID 或者光纤通道硬盘子系统。

表 1: 服务器大小建议
用户 / 资源负荷超过 200 个用户 / 低于 100 K超过 300 个用户 / 低于 250 K超过 500 个用户 / 低于 500 K
程序服务器
系统IBM  System x3250 M2IBM  System x3250 M2IBM  System x3250 M2
总的内核数最少 2 个最少 2 个最少 4 个
总的处理器111
CPUPentium E5300 双核 2.6 GHz 2 MB 缓存Xeon E3120 双核 3.16 GHz 6 MB 缓存Xeon X3330 四核 2.66 GHz 6 MB 缓存
总的 RAM4 GB4 GB8 GB
数据库服务器
系统IBM  System x3250 M2IBM  System x3250 M2IBM  System x3250 M2
总的内核数最少 2 个最少 2 个最少 2 个
总的处理器111
CPUPentium E5300 双核 2.6 GHz 2 MB 缓存Pentium E5300 双核 2.6 GHz 2 MB 缓存Pentium E5300 双核 2.6 GHz 2 MB 缓存
总的 RAM4 GB4 GB4 GB
总的硬盘空间≥ 100 GB≥ 200 GB≥ 400 GB

对于例外情况的 Rational Quality Manager 服务器来说,该运行的所有测试都是在一个运行 Microsoft® Windows® Server 2003 Enterprise Edition 的 32 位系统上运行的。低于 4 GB 的内存应该在 16 GB 的系统上运行。将数据与程序隔离开来也是一种不错的操作方法。因此,您的部署应该将程序与数据库服务器隔离开来。

存储库大小观察

您可以使用表 2 中的指南来帮助您决定 Rational Quality Manager 资源所需要的硬盘资源。对于这些测试:

  • 通过在数据库服务器上创建一个空白的存储库,可以决定每 1,000 资源硬盘的大小,然后使用通用数据创建脚本来生成 1,000 每种类型的资源。
  • 生成的资源包含有固定大小的数据(看中心的列)。
  • 这次测试所用的数据库是一个 IBM® DB2® 9.1 版本的数据库。
表 2. 资源大小建议
资源类型向每种资源所添加数据的大小 每 1,000 资源总共的大小
测试计划18 KB39 MB
测试脚本1 KB12 MB
测试用例112 KB40 MB
物理机器或虚拟机n/a8 MB
请求2 KB18 MB
保留2 KB6 MB
缺陷2 KB11 MB
测试环境n/a7 MB

Rational Quality Manager 会压缩它的资源,这样总体的大小可能会少于操作每项资源数据的总量。压缩量取决于每项资源的压缩率。

性能测试目标

所执行性能测试的目标在于获取该练习的数据以:

  • 决定可以在标准平台上驱动的用户负荷的层次。
  • 为资源负荷的混合收集性能数据工具。

资源可评测性

在一个存储库上所存储资源的数量可以显著地影响性能。有了给定的用户负荷,由于资源的数量在增长,一些测试场景会返回(处理)大量的搜索结果。

表 3 显示了每一次测试运行开始的时候存储库中的资源混合情况。在该测试中使用了三种不同大小的存储库:50 K 资源,250 K 资源与 500 K 资源。

表 3. 资源混合
项目类型50 K250 K500 K
测试规划1005001,000
测试脚本3,00015,00030,000
测试用例3,00015,00030,000
测试执行记录 4,00020,00040,000
执行结果 20,000100,000200,000
Lab 资源1,2006,00012,000
测试套3001,5003,000
请求1256251250
保留1,6008,00016,000
工作项14,19770,985141,970
测试环境2001,0002,000
测试阶段7003,5007,000
总共48,422242,110484,220

用户可评测性

考虑用户的可评测性是很重要的,同时还要保存资源与配置常量的数量。测试会与不同数量的用户一起运行,开始时是 100 个用户,最后会增长到 500 个用户。用户负荷的所有用户都会被认为是积极的,这意味着他们会规范地在以上的工作负荷中执行操作。

性能测试配置

Rational Quality Manager 会通过3 个不同大小储存库来进行测试:50,000 资源,250,000 资源与 500,000 资源。因此这些储存库将会引用为:50K,250K 与 500K 储存库。一系列的测试会根据储存库的大小来运行,以确定负荷下系统的行为,并确认最大的用户负荷。程序服务器与数据库服务器所用的硬件,对于所有的测试都是固定不变的。测试环境会由 IBM® Rational® Performance Tester 8.1 版本工作台以及两个代理机器组成。

为了降低测试结果可变性的数量,这些测试会在一个隔离网络的环境下执行。这些服务器会应用基本的调试,以改进 Rational 性能测试团队所共同使用的文件系统、内存以及 TCP/IP 协议。

测试配置还包含了一个 Rational Quality Manager Report Authoring 服务器。在自己的机器上安装 Report Authoring 服务器,以消除程序服务器和数据库所处理报告的成本,是一种明智的选择。该指南中的性能结果,反映了在其自己机器上安装 Rational Quality Manager Report Authoring 服务器的部署。图 1 提供了该测试中所使用到的测试环境的配置。

图 1. 性能测试拓扑结构
用户负载生成,程序与数据库绑定
用户负载生成,程序与数据库绑定

接下来的表格(表 4 与表 5)详细描述了以上拓扑结构中使用特定机器的配置情况。表格列出了使用的特定机器,包括:

  • 系统模型
  • 处理器类型
  • 处理器和速度的数量
  • RAM 的数量
  • 特定的操作系统版本(包括任意的服务器-或者固定包层次)。

表 4 含有测试中系统的机器特征,而表 5 则含有测试环境的机器特征。

表 4. 测试下系统的机器特征
机器角色系统模型处理器结构处理器(数量/速度)内存操作系统版本
Rational Quality Manager Server
IBM® WebSphere® Application Server V6.1.0.0 FP23
IBM x3550IA32/HT EM64T
2/3.0 GHz(超线程)16 GBWindows 2008 Enterprise Server,x86-64 版本
IBM DB2 Server V9.1 FP4IBM x336IA32/HT2/3.6 GHz4 GBWindows 2003 Enterprise Server SP2
Rational Quality Manager Report Authoring ServerIBM x3550IA32/HT EM64T2/3.0 GHz(超线程)16 GB*Windows 2003 Enterprise Server,SP2
许可证服务器IBM® ThinkCentre M50IA32/HT EM64T1/2.9 GHz1 GBWindows 2003 Enterprise Server SP1

*尽管这些机器拥有 16 GB 的内存大小,但是 Windows 2003 只限于它可以处理的内存量(而 Physical Address Extension 路径并没有得到使用)。

表 5. 测试环境的机器特征
机器角色系统模型处理器结构处理器(数量/速度)内存操作系统版本
Rational Performance Tester Workbench V8.1IBM x3550IA32/HT EM64T2/3.0 GHz(超线程)16 GB*Windows 2003 Enterprise Server,SP2
Rational Performance Tester Agent V8.1IBM® xSeries® 345IA32/HT2/3.2 GHz4 GBWindows 2003 Enterprise Server SP2
Rational Performance Tester Agent V8.1IBM x3550IA32/HT EM64T2/3.0 GHz(超线程)16 GB*Windows 2003 Enterprise Server SP2

*尽管这些机器拥有 16 GB 的内存,在 Windows Server 2003 上运行的 32 位系统只限于在它们可以处理的内存量上运行(Physical Address Extension 路径并没有使用到,查看:http://msdn.microsoft.com/en-us/library/aa366778(VS.85).aspx#physical_memory_limits_windows_server_2003 以得到更多信息)。

用户工作负荷模拟

Rational Quality Manager 支持广泛的用户角色。因此,该练习的工作负荷模拟一系列基于角色的场景,这些场景会试着模拟一些简单的真实用户操作。每一个通过 Rational Performance Tester 模拟的用户,会基于表 6 和表 7 中所显示的工作负荷来分配给一个用户角色。注意该测试中用到了两种不同的工作负荷(有和没有报告用例)。

表 6. 带有报告活动的用户模拟
用户角色总共的用户百分比相关的交易交易的百分比
Quality Engineering Manager8%创建测试规划 1%
浏览测试规划与测试用例15%
搜索缺陷10%
视图操作板 20%
运行测试器报告26%
通过创建状态报告来运行测试用例28%
Test Lead15%编辑测试环境5%
测试规划编辑12%
测试用例创建2%
测试脚本评审32%
测试执行21%
缺陷搜索10%
通过 Date 报告来运行测试用例18%
测试器60%缺陷编辑5%
缺陷搜索15%
请求实验机器2%
测试执行记录浏览15%
测试用例编辑3%
测试脚本编辑5%
测试脚本创建 2%
缺陷创建8%
测试执行45%
表 7. 没有报告活动下的用户模拟
用户角色总共的用户百分比相关的交易交易的百分比
Quality Engineering Manager8%创建测试计划1%
评审测试脚本 30%
浏览测试规划,测试用例26%
搜索缺陷23%
查看操作板20%
Test Lead15%编辑测试环境 8%
测试规划编辑15%
测试用例创建 5%
测试脚本评审35%
测试执行 24%
缺陷搜索 13%
测试器60%缺陷编辑5%
缺陷搜索15%
请求实验机器 2%
测试执行记录浏览 15%
测试用例编辑 3%
测试脚本编辑 5%
测试脚本创建2%
缺陷创建8%
测试执行45%
Lab 管理器2%分配请求35%
搜索机器20%
查看储备45%
Lab 管理员10%后备实验机器 4%
编辑机器10%
机器搜索69%
创建实验机器 2%
满足请求15%
Dashboard Viewer5%查看操作板100%

用户工作负荷模拟用例描述

表 8 中所示的子部分描述了基准测试运行所使用到的模拟用户工作负荷场景。

表 8. 用户交易描述
用户角色操作的序列
Quality Engineering Manager测试规划创建:用户创建一个测试规划,然后添加定义、业务目标、测试目标、两个测试规划、测试估计质量目标,以及进入和退出标准。
评审测试脚本:用户搜索一个测试脚本,打开一个测试脚本,评审各种不同的部分,然后关闭脚本。
查看操作板:用户登录,检查操作板,刷新操作板,然后注销出来。
浏览测试规划与测试用例:用户通过选择 View Test Plans 来浏览资源,然后配置 View Builder 以进行名字搜索。打开测试规划,评审不同的部分,然后将其关闭。根据名字来搜索测试用例,打开测试用例,评审不同的部分,然后将其关闭。
缺陷搜索:用户根据号码来搜索一个特定的缺陷,用户评审缺陷(暂停),然后将其关闭。
运行测试器报告:用户运行一条叫做 Tester Report 的通用报告。
通过 Creation State 报告来运行测试用例:用户运行一个叫做 Test Case by Creation State 的通用报告。
Test Lead编辑测试环境:用户会列出所有的测试环境,然后从中选择一个并对其进行编辑。
测试规划编辑:用户列出所有的测试规划。从查询结果中,打开一个测试规划以进行编辑,并向测试规划添加一个测试用例,编辑测试规划的其他部分,然后保存测试规划。
测试用例创建:用户通过打开 Create Test Case 页面来创建一个测试用例,为新的测试用例输入数据,然后保存测试用例。
测试脚本评审:用户通过名字来搜索一个测试脚本,打开它,评审它,然后关闭。
测试执行:用户选择 View Test Execution Records,从列表中选择一个结果的测试执行记录,开始执行,输入进入码,评审结果,设置点,然后保存。
缺陷搜索:用户通过数量来搜索特定的缺陷,评审缺陷(暂停),然后关闭它。
运行 Test Case By Date 报告:用户运行一条叫做 Test Case By Date State 的通用报告。
Tester缺陷编辑:用户通过号码来搜索一个特定的缺陷,编辑它,然后将其保存。
缺陷搜索:用户通过号码来搜索一个特定的缺陷,评审缺陷(暂停),然后将其关闭。
请求实验机器:用户通过打开 Create Request 页面来输入一个请求,输入关于请求的信息,然后提交请求。
测试执行记录浏览:用户通过评审 My Test 执行记录来浏览测试执行记录,然后选择一系列的 4 测试执行记录,并打开最近的结果。
测试用例编辑:用户选择 My Test Cases。在编辑器中会打开一个测试用例,然后向测试用例添加一个测试脚本。然后测试用例会得到保存。
测试脚本编辑:用户选择 My Test Scripts, 打开它以进行编辑,编辑它,然后将其保存。
测试脚本创建:用户通过选择 Create Test Script 页面来创建一个测试用例,为一个新的测试脚本输入数据,然后保存测试脚本。
缺陷创建:用户通过打开 Create Defect 页面来创建一个缺陷,为新的缺陷输入数据,然后保存缺陷。
测试执行:用户选择 My test execution records only,然后从列表中选择一个测试执行记录以进行执行,开始执行,评审结果,设置点,然后保存。
Lab 管理员分配请求
机器搜索:用户基于机器的属性来搜索它,打开它以进行评审,然后将其关闭。
评审备份:用户选择 All Reservations,检查 All Reservations,然后在筛选规则区域内输入一个文本。从结果中,用户会打开一个备份,评审它,然后将其关闭。
根据 State 报告来运行请求:用户会运行一个叫做 Requests by State 的通用报告。
运行 Requirements Not Covered 报告:用户运行一个叫做 Requirements Not Covered 的通用报告。
Lab Admin备份实验机器:用户通过打开 Find Lab Resource 页面来备份一个实验机器,选择一个机器,然后备份机器。
编辑机器:用户基于机器的属性来搜索它,打开一台机器以进行编辑,编辑机器,然后将其保存。
机器搜索:用户基于机器的属性来执行一次搜索,打开它以进行评审,然后将其关闭。
创建实验机器:用户通过打开 Create Machine 页面,输入关于机器的信息,然后保存新机器来创建一个实验机器。
满足请求:用户会执行用户请求的搜索操作,并编辑请求以满足它。
操作板查看器查看操作板:用户登录,评审操作板,然后注销掉。该用户向工作负荷提供一些登录和注销的行为,这在 Rational Performance Tester 中将会得到控制,以规定到每个用户发生 4 次。

性能执行指南

性能测试被设计成在过渡阶段每七秒就添加用户。当得到满用户负荷时,会应用一个循环系列的操作(以避免用户的过度登录与注销操作),该操作代表了用户工作负荷模拟表下的工作负荷,该表如前面 (表 6表 7)所示。

一个操作板查看器角色会添加至工作负荷(并不是一个真实的产品角色),并不是要完全地清除登录与注销的效果。执行率并不是由 Rational Performance Tester 中的页面链接时间所控制,以创建大约 30 页每小时(pph)的页面率。

每一个性能测试都由一个过渡时期组成,接着一个全用户负荷时间。全负荷时期总是会持续一个小时,而不管有多少的用户。本文中所报告的所有评测都来自全负荷一个小时时期。

性能测试结果

图 2a 描述了在 100 个用户负荷下 50k 储存库 Rational Quality Manager 1.0.1 版本与 2.0 版本在响应时间方面的提高(降低)。这些图表还显示了在其自己服务器上运行通用报告,要比运行内构报告提供了更好的响应时间。总体来说,Rational Quality Manager 2.0 版本显示了使用内构报告 36% 的提高情况,以及在单独服务器上运行通用报告 88% 的提高情况。

图 2a. Rational Quality Manager 1.0.1 版本与 2.0 版本响应时间在 100 个用户与 50k 储存库下的比较(带有报告)
 1.5,1.1 与 0.8 秒情况下的响应时间
1.5,1.1 与 0.8 秒情况下的响应时间
图 2b. Rational Quality Manager 1.0.1 版本与 2.0 版本响应时间在 300 个用户与 50k 储存库下的比较(带有报告)
 1.75,1.25 与 0.75 秒情况下的响应时间
1.75,1.25 与 0.75 秒情况下的响应时间

图 2c 与 2d 显示了最大型数据环境下,250k 与 500k 储存库,对于大量的用户负荷下(分别是 100,200,300 与 500)的服务器反应时间。这些测试可以在没有报告活动的情况下运行。

图 2c. 250k 储存库的响应时间
587.2,643.2,707.0 与 1,310.0 毫秒
587.2,643.2,707.0 与 1,310.0 毫秒
图 2d. 500k 储存库的响应时间
684.9,744.9,853.8 与 2,117.4 毫秒
684.9,744.9,853.8 与 2,117.4 毫秒

接下来的图 9 为不同的测试运行情况而显示了一系列的性能工具。

该表中的所有值都代表了全用户负荷运行条件下所收集的响应值,它代表了积极用户的服务器性能。

表 9. 性能工具
User load
性能工具100200300500
50K Rational Quality Manager 资源储存库 *1
平均反应时间(ms)793.8748.6770.7
成功率(%)99.910099.6
运行时间 [h:m:s]0:59:530:59:590:59:49
每小时/用户的页面 323333
50K Rational Quality Manager 资源储存库 *2
平均响应时间(ms)1,063.71,016.61,293.1
成功率(%)99.799.899.8
运行时间 [h:m:s]0:59:570:59:570:59:57
每小时/用户的页面333333
250K Rational Quality Manager 资源储存库
平均响应时间(ms)578.2643.27071,310
成功率(%)98.597.39499.9
运行时间 [h:m:s]0:59:570:59:570:59:550:59.57
每小时/用户的页面 33333233
500K Rational Quality Manager 资源储存库
平均响应时间(ms)684.9744.9853.82,117.4
成功率(%)98.695.594.399.8
运行时间 [h:m:s]0:59:570:59:570:59:570:59:57
每小时/用户的页面 33333232

注意

*1:该组包含有带有通用报告模拟的用户。
*2:该组包含有构建报告模拟的用户。
只有 50K 测试会与测试活动一起运行,其他的所有部分都不会

服务器资源使用层次

在测试运行期间 Rational Quality Manager 程序与数据库服务器会监视处理器与内存的使用情况。图 3a、3b、3c 与 3d 显示了不同用户负载下的数据使用情况(100、200、300 与 500)与资源层次(50K、 250K 与 500K)。

最有趣的数据是运行 Rational Quality Manager 程序的机器所用的处理器使用数量。图 3c 显示了 Rational Quality Manager 程序与带有 500k 储存库 IBM DB2 数据库服务器的处理器使用情况,一行是每一类型的机器型号,而 X 轴则是变化着的用户负荷。

在图 3c 中,粉红色的行代表了为测试所收集的数据会在 500k 存储库的 Rational Quality Manager 服务器上运行:

  • 行上的第一点是一个在 10% 左右的值,它代表了当有 100 个用户访问服务器时,Rational Quality Manager 服务器上总体的平均处理器使用情况。
  • 第二点,值在 18% 左右,它代表了当有 200 个用户访问服务器时,Rational Quality Manager 服务器上总体的平均处理器使用情况。。
  • 第三点,值在 28% 左右,它代表了当有 300 个用户访问服务器时平均的服务器处理器时间。
  • 第四点,值在 57% 左右,它代表了当有 500 个用户访问服务器时平均的服务器处理器时间。

因为优化的 CPU 使用情况不会超过 60%,所以该测试内的用户负荷对于该硬件配置来说是可接受的。更低资源层次的使用值也是可以接受的。

IBM DB2 服务器是在一台处理能力不低于 IBM Rational Quality Manager 程序服务器的服务器上运行的,而且不会达到 IBM DB2 服务器的处理能力的顶峰状态。

图 3a. 处理器的使用– 50K Rational Quality Manager 与数据库服务器
CPU 8,12 与 16 的使用百分率
CPU 8,12 与 16 的使用百分率
图 3b. 处理器使用 – 250K Rational Quality Manager 与数据库服务器
CPU  7,15,22 与 50 的使用百分率
CPU 7,15,22 与 50 的使用百分率
图 3c. 处理器使用 – 500K Rational Quality Manager 与数据库服务器
CPU  10,18,28 与 57 使用百分率
CPU 10,18,28 与 57 使用百分率
图 3d. 内存使用 – Rational Quality Manager 服务器的 50K,250K 与 500K
服务器内存使用情况在 150 与 450 MB 之间
服务器内存使用情况在 150 与 450 MB 之间

法律事项

IBM,IBM 徽标与 Rational 是美利坚合众国、其他国家或者两者 IBM 公司的注册商标。Java 与基于 Java 的商标则是美利坚合众国、其他国家或者两者 Sun Microsystems 公司的注册商标。Microsoft 与 Windows 则是美利坚合众国和/或其他国家的注册商标。其他的公司,产品或者服务名可能是其他公司的商标或者服务标示。

© Copyright 2010 IBM Corporation。IBM Corporation, Software Group,Route 100,Somers,NY 10589。美利坚合众国制造。保留所有权利。IBM,IBM 徽标与 Rational 是美利坚合众国、其他国家或者两者国际商业机器公司的注册商标。其他的公司,产品或者服务名可能是其他公司的商标或者服务标示。对该版本 IBM 产品或者服务的引用并不意味着 IBM 公司同意在其有业务的国家里授权使用它们。关于 IBM 未来发展方向或者意图的所有声明,都有可能在不通知及告示目标与目的的情况下进行更改或者取消。所有的信息都是在 AS-IS 的基础上提供,而不需要任意性质的授权。您可以通过 ibm.com 来访问 IBM 公司的网上官方网页。


相关主题

  • IBM Rational 软件交付平台 中了解其它应用程序,包括适用于并行开发和地域分布式团队的协作工具,以及用于架构管理、资产管理、变更和发布管理,集成需求管理、过程和组合管理,和质量管理。
  • 访问 developerWorks 上的 Rational 软件专区,了解有关 Rational 软件交付平台产品的技术资源和最佳实践。
  • 查找 Rational 基于计算机、基于 Web,以及在线指导课程。训练您的技能,并学习更多有关 Rational 工具的课程,包括入门级和高级课程。在此目录上的课程可进行购买,包括基于计算机的和基于 Web 的培训。此外,一些“入门”课程是免费的。
  • 订阅 IBM developerWorks 时事通讯,获得有关最佳的 developerWorks 教程、文章、下载、社区活动、网络广播和事件的每周更新。
  • 访问 Rational Quality Manager 产品专题,了解最新的 IBM Rational Quality Manager 产品文档和产品信息,获得关于 IBM Rational Quality Manager 相关的技术文档和参考资源,还可以查阅产品概览、产品手册、产品技术支持、试用版下载,以及相关文章、教程、多媒体课堂和产品演示等信息。
  • IBM Rational Quality ManagerRQM)是一个基于 Jazz 平台技术的实时协作式质量管理环境,可以帮助跨地域分布的开发团队简化协作质量管理,并使其软件质量管理过程实现自动化管理。

    免费下载:

  • 下载 IBM Rational 软件的试用版

评论

添加或订阅评论,请先登录注册

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=10
Zone=Rational
ArticleID=499307
ArticleTitle=IBM Rational Quality Manager V2.0 版本服务器评估指南
publish-date=07052010