内容


使用 Rational ClearQuest TestManager 运行并分析软件测试

使用 IBM Rational ClearQuest 进行测试管理

Comments

介绍

使用 IBM Rational ClearQuest 测试管理

IBM Rational ClearQuest 的 V7.0 发布版本宣布了一个重大的策略转移,就是将 IBM Rational 方法应用到测试管理中。在这个版本之前,测试管理的功能是由 IBM Rational TestManager 提供的,它包含为质量保证(QA)组织进行的测试计划、测试执行和测试结果分析。

从 V 7.0 版本开始,ClearQuest 开始处理测试管理。ClearQuest 提供和 Rational TestManager 相同的核心功能,并扩展了它的特性,以良好的应对现代 QA 组织所面临的挑战。新特性有以下几点好处:

  • Web 接口
  • Eclipse 集成
  • 更紧密的缺陷集成
  • 企业级数据库支持
  • 更强大的报告功能
  • 通过电子签名(eSignatures)和审计追踪(AuditTrails)为法规遵循提供查询功能
  • 使用 ClearQuest MultiSite 可以支持地理位置分布式的测试团队

教程概述

这篇教程的目的是对 IBM Rational ClearQuest 7.0 版本中新的测试管理功能的一个基本介绍。本文按照下面的步骤逐一讲解:

  • 安装与配置 ClearQuest 及相关软件包
  • 测试计划,包含创建一个测试资产注、测试计划和测试用例
  • 不同类型测试的执行
  • 测试分析,主要针对 ClearQuest 查询和报告功能

目标读者

这篇教程适用于第一次使用 ClearQuest 测试管理功能的人员。其中包括第一次评估 ClearQuest 的人,还有那些已经使用过 ClearQuest 管理,并想更深入了解新的测试管理功能的人员。

阅读这篇教程所需的时间

安装完相关软件后,阅读这篇教程大概需要 30-60 分钟。

教程安装

阅读这篇教程之前您不需要做任何事情,只要安装 IBM Rational ClearQuest 软件。为了进一步帮助您理解 ClearQuest 的整体功能,这篇教程中的一个 .zip 文件中包含有测试样本,这会帮助您更好的理解各种概念。(查看 图1。)按照下列步骤安装文件:

  1. 使用 WinZip 将 .zip 文件解压缩到您的 C 盘驱动器(C:\)。文件会被解压缩到一个名为 CQTM Test Scripts 的目录。
  2. ClearQuest 要求这个目录能通过 Microsoft® Windows® 网络共享访问。打开 Windows Explorer
  3. Windows Explorer 中右键点击 C:\CQTM Test Script File Locations 目录,然后选择 Sharing and Security 选项来共享该文件夹。
  4. 如果您的机器从未共享过文件,那么请按照下列步骤设置,如果先前您已经共享过文件,则可跳过第 7 步。
  5. CQTM Test Scripts Properties 对话框中的 Sharing 标签,点击 这个声明:如果您了解安全风险,并依然想要共享文件而跳过向导,请点击这里。
  6. Enable File Sharing 对话框中,选择 Just enable file sharing,然后点击 OK
  7. CQTM Test Scripts Properties 对话框中,选择 Share this folder on the network 选项。使用默认的 CQTM Test Scripts 名称。
  8. 虽然不是必须的,但是请检查 Allow network users to change my files 选项,因为 ClearQuest 将测试结果写入这个共享文件夹。
  9. 点击 OK 关闭 CQTM Test Scripts Properties 对话框。
  10. 最后点击 Yes 接受警告:共享文件夹建议名称大于12个字符。
图1:CQTM 测试脚本对话框
CQTM test scripts dialog
CQTM test scripts dialog

安装 ClearQuest 并创建您的数据库

这篇教程建立在您从未接触过的 IBM Rational ClearQuest 的基础之上。本教程将手把手的从软件安装到最后的报告指导您操作。在第一部分,您需要完成 2 步操作。首先,您需要安装 ClearQuest,然后创建存储 ClearQuest 数据的数据库。

安装 IBM Rational ClearQuest

按照下列步骤安装 IBM Rational ClearQuest:

  1. 运行 setup.exe,然后按照向导执行 桌面安装
  2. 使用所有默认值。这里您不需要安装任何组件,例如 ClearQuest Web 接口。因为这篇教程中未涉及这些组件,但是您也可以现在安装它们已备以后使用。
  3. configuration wizard,点击 Done。这时您不需要再配置任何设置。
  4. 如果您有试用版本的评估许可证,安装完成时您会被导航到 IBM Rational License Key Administrator,要求您输入评估许可证号。这时用户可以使用向导指向它们现在的许可服务器。

创建一个模式库和样例数据库

按照下列步骤创建样例数据库:

  1. 打开 ClearQuest Maintenance Tool
  2. ClearQuest Maintenance Tool 中,选择 Schema Repository > Create
  3. 选择 MS_ACCESS 作为提供者,然后在您的硬盘驱动器上选择一个位置来存储模式库。这篇教程中我们使用 C:\CQTM Tutorial\CQTM_SchemaRepo.mdb 这个路径。
  4. Existing Connections 中,将连接名称改为 CQTM
  5. 点击 Next,然后接受警告:将库放入到一个共享文件夹中。
  6. 点击 Next 接受 ClearQuest Data Code Page。这里可能有所不同,取决于您的操作系统语言。在加拿大和美国,默认代码是:1252(MS Windows Latin 1)。
  7. 在下一个屏幕中选择 Create sample database,然后选择 Enterprise Schema 选项。
  8. 输入数据库名称:CQTST。您会得到一个输入描述的选项。
  9. 点击 Next
  10. 再次选择 MS_ACCESS 作为您的样本数据的数据库类型,然后提供一个 C:\CQTM Tutorial\CQTM_Data.mdbPhysical Database Name
  11. 点击 Finish 结束这个过程,再次接受警告:数据存储在共享文件夹中。
  12. 查看状态信息之后,点击 Done,然后点击 Exit the ClearQuest Maintenance Tool

启动 ClearQuest 并登陆

对于这篇教程来说,您将会使用 ClearQuest Eclipse 客户端,它是基于 Eclipse的独立工具。这篇教程中所做的工作,您都可以通过 Eclipse 插件程序来完成,但是两个客户端之间的菜单导航有一些细微的差别。这篇教程的介绍是基于 ClearQuest Test Manager视图的,这只在 Eclipse 客户端中可用。因此,不要试图使用 ClearQuest Windows 或者其他本地操作系统客户端完成这篇教程。按照下列步骤完成操作(查看 图2):

  1. 点击 Start > All Program > IBM Rational > IBM Rational ClearQuest > ClearQuest 运行 ClearQuest
  2. 选项:点击 Welcome 视图上的 Overview 图标。您可以查看一个 15 分钟的 Rational ClearQuest TestManager 视频教程。然后关闭 Welcome 窗口。您可以从 Help > Welcome 再次回到这里。
  3. 选择 File > Database > Manage connections
  4. 选择 CQTM database,然后点击 Add Connection...
  5. 使用 CQTM 的 Schema Repository 的默认设置,然后点击 Next
  6. 输入用户 ID:admin。这个帐户没有密码。
  7. Connect 对话框中,选择 记忆密码,然后点击 OK 登陆。
  8. Test Manager 视图应该是可见的,虽然其中没有任何数据。
图2:IBM Rational ClearQuest
IBM Rational ClearQuest
IBM Rational ClearQuest

您现在已经连接到了先前创建的 CQTST 数据库,现在让我们开始这篇教程。

测试项目配置

在创建您的测试用例和计划之前,您需要完成一个安装和配置工作,这个工作只需做一次。您必须提供 ClearQuest 的核心信息,例如您存放测试资产的地方。

资产注册

资产注册 将会保管您的所有资产。包含所有测试计划,以及其中的测试用例。它还包含您的所有测试套件,以及您的 IBM Rational Manual Tester、IBM Rational Functional Tester 和 IBM Rational Performance 的文件位置。它还会包含您的所有测试结果。

查看 图3图4。完成建立资产注册的步骤:

  1. 右键点击 Test Manager 视图中的 Asset Registries,然后选择 New Asset Registry
  2. 输入 CQTM Tutorial 作为名称,然后输入 your sample test assets description
  3. 点击 OK 完成建立资产注册的过程
图3:资产注册建立对话框
Asset registry creation
Asset registry creation
图4:新近建立的资源注册,带有测试计划、测试套件、迭代和文件路径
Empty asset registry
Empty asset registry

配置与配置属性

ClearQuest TestManager 允许测试小组使用各种配置来运行测试。例如,QA 小组经常在不同的操作系统和版本上运行相同的测试,例如 Microsoft® Windows XP®,Microsoft® Windows Server® 或者 Linux® 操作系统。这样测试小组就不得不测试不同的硬件配置,例如一台机器有 512 MB 内存,另一台有 2 GB 的内存。不管是什么样的配置,ClearQuest TestManager 都可以记录各种配置属性(例如操作系统,内存,硬盘空间等等),这样您可以将属性聚合到公共配置中。

配置和配置属性不是您的资产注册的一部分。因此,它们可以跨越资产注册被共享。这样的好处是您只需要输入一次这个信息,而不需要为每一个资产注册建立配置。

创建配置属性

按照下列步骤创建基本的配置属性(查看 图5):

  1. 打开 Configurations 文件夹找到 Configuration Attributes 文件夹。
  2. 右键点击 Configuration Attributes 文件夹,然后选择 New Configuration Attribute 选项。
  3. Name 中输入 Operating System,然后点击 OK 完成属性的创建。
  4. 右键点击新创建的属性,然后选择 New Configuration Value
  5. Name 中输入 Linux,然后点击 OK 创建属性值。
  6. 重复这两步,在 Name 中输入 Windows XP。
  7. 右键点击 Configuration Attributes 文件夹,然后选择 New Configuration Attribute 选项。
  8. Name 中输入 Memory,然后点击 OK
  9. 右键点击新创建的属性,然后选择 New Configuration Value 选项。
  10. Name 中输入 2 GB,然后点击 OK 创建属性值。
  11. 重复上两步,这次在 Name 中输入 512 MB。
图5:配置属性
Configuration attributes
Configuration attributes

创建配置

  1. 右键点击 Configurations 文件夹,然后选择 New Configuration 选项。
  2. 输入以下 名称:Minimum Memory Windows XP
  3. 然后来到 Configuration Attributes List,点击 Add
  4. Browse Record Type 对话框中,点击 Search可以显示您刚才创建的所有配置属性。
  5. 请按下 CTRL键同时选中 both Windows XP operating system2 GB Memory 两个属性。
  6. 点击 OK 按钮关闭 Browse 对话框。
  7. 点击 OK关闭 Create (TMConfiguration) 对话框。
  8. 重复以上步骤创建一个名叫 Recommended Windows XP Configuration 的配置。然后同时选中 Windows XP 操作系统和 512 MB 内存。(查看 图6)。
图6:完成配置和配置属性的创建
Configurations and attributes

测试计划

资产注册和配置都很简单,您已经在测试项目中完成。测试计划是沿着这个测试项目继续进行的。

在下一个部分,您将会创建多层次测试。一个测试计划是一组测试用例的组合结构。测试用例是特定的测试或者验证,您需要在您的系统上执行。因此,在您创建了测试计划之后,您需要把测试用例插入到这些测试计划中。

最后,您将会把之前章节创建的配置和测试用例结合起来。一个单独的测试用例是一个抽象的概念,在这个测试用例中您仅定义了需要测试什么。将配置和测试用例结合起来后,您就创建了一个已配置的测试用例,这样就不仅能表示您要测试什么,还能表示您在哪里测试(在哪个平台或者配置)。

创建测试计划

测试计划的第一步是创建一个测试计划来控制您的所有测试用例。组织测试计划和测试用例的方法有很多种。与其在这里阅读测试计划组织结构的长长的讨论过程,您还不如使用非常大众化的功能分解结构,来为应用程序的各种功能区域创建子测试计划。通过使用这个结构,您的测试计划体系结构将会符合您的应用程序体系结构。

按照以下步骤创建您的基本的测试计划结果:

  1. 右键点击 Test Plans 中的 CQTM Tutorial asset registry,然后选择 New Test Plan 选项。
  2. 输入 Master Functional Test Plan 作为标题。
  3. 点击 OK 创建您的测试计划。

现在您已经创建好了您的主测试计划,您可以为 Classics Online 应用程序的功能区域创建测试计划(查看样例应用程序的其他选项获得更多细节信息)。

  1. 右键点击您刚刚创建的 Master Functional Test Plan,然后选择 New Test Plan 选项。
  2. 输入 Order Placement Tests 作为标题。
  3. 点击 OK 创建您的测试计划。
  4. 重复这个过程为 Administrative Function Tests 创建一个测试计划。
  5. 重复这个过程为 Order Review Tests 创建一个测试计划。
图7:ClearQuest 支持层次化测试计划
Test plans
Test plans

创建测试用例

在创建了测试计划结构之后,下一步是将测试计划和测试用例结合。测试用例定义了每一个您计划在系统上执行的确认。(查看 图8。)

按照下列步骤为每一个测试计划创建一个测试用例:

  1. 右键点击 Order Placement Tests,然后选择 New Test Case 选项。
  2. 输入 Place Valid Order 作为标题。
  3. Priority 选项下,选择 1 - Critical
  4. 右键点击 Administrative Function Tests,然后选择 New Test Case 选项。
  5. 输入 View Customer List 作为标题。
  6. Priority 选项下,选择 3 - Medium
  7. 右键点击 Administrative Function Tests,然后再次选择 New Test Case 选项。
  8. 输入 View Existing Order Status 作为标题。
  9. Priority 选项下,选择 2 - High
图8:关联测试计划和测试用例
Test plans and test cases
Test plans and test cases

关联测试脚本和测试用例

测试计划和测试用例显示了您逻辑上的测试计划。您可以把测试计划想象成一张需要运行的测试用例的列表。但是您如何运行这些测试呢?您如何才能知道测试运行成功还是失败呢?您可以在 Execution 标签获得答案。

您可以使用 Execution 标签将您的测试用例连接到一个实际的测试脚本。测试脚本会显示出测试成功或者失败。

ClearQuest TestManager支持在 IBM Rational Functional Tester、IBM Rational Manual Tester 和 IBM Rational Performance Tester测试自动化工具中创建的测试脚本的执行.它还支持 Test 和 Performance Tool Platform,或者TPTP兼容性测试,例如TPTP JUnit测试。

  • Rational Functional Tester 是一个基于脚本的回归测试工具,它能以脚本形式捕获应用程序中用户的行为,以用于之后的回归和系统验证。
  • Rational Manual Tester 是一个手动测试和执行工具。您可以使用它捕获运行在应用程序上的测试脚本步骤和行为。它会在您运行测试的时候自动输入并验证数据。
  • Rational Performance Tester 是一个帮助您评价系统响应基于Web和企业资源计划(ERP)应用程序时间的工具。它可以在系统发布之前,模拟您的系统上并发用户的活动,并测量响应时间,显示性能和瓶颈。

创建文件路径

首先您要告知 ClearQuest 测试的文件路径,才能将您的测试脚本和测试用例结合起来。这个工作仅需要做一次。在这个步骤之后,所有的测试用例都应该可以根据您提供的文件路径访问脚本。(查看图9。)

按照下列步骤为您的 Rational Manual Tester和Rational Functional Tester 脚本创建文件路径:

  1. 右键点击资产注册中的 File Locations 文件夹,然后选择 New File Location 选项。
  2. 点击 Next 并接受 CQTM Tutorial 作为资产注册的默认属性。
  3. Name 中输入 Functional Tester Tests
  4. 提供这个文件的路径:C:\CQTM Test Scripts\Functional Tester\Functional Tests
  5. 提供测试日志的路径:C:\CQTM Test Scripts\Functional Tester\Functional Tests_logs
  6. 点击 Finish 创建文件路径。
  7. 根据下列属性,重复以上步骤创建一个文件路径:
  • 文件路径名称:Manual Tester Tests
  • 文件路径:C:\CQTM Test Scripts\Manual Tester\Manual Tester Scripts
  • 测试日志路径:C:\CQTM Test Scripts\Manual Tester\Manual Tester Logs
图9:文件路径告知 ClearQuest 去哪里寻找测试自动化脚本
File locations

在测试脚本和测试用例之间建立关联

现在 ClearQuest 已经知道了您的脚本是什么,按照下列步骤将 Rational Functional Tester和Rational Manual Tester 脚本和您的测试用例关联起来(查看图10):

  1. 右键点击 Place Valid Order测试用例,然后选择 Modify 选项。
  2. 导航到 Execution标签。
  3. 点击 Browse 按钮。
  4. 选择 Rational Functional Tester 作为测试类型。
  5. 打开 Functional Tester Tests文件路径。
  6. 选择 Place_Valid_Order脚本。
  7. 点击 Finish完成关联过程。
  8. 点击 OK关闭测试用例。
  9. 注意您的测试用例上的图标变化。在测试用例图标的右上角有一个小的脚本图标。
  10. 重复以上步骤将名为 View_Existing_Order 的 Functional Tester Test 和 View Existing Order Status测试用例关联起来。
  11. 将测试类型转成 Rational Manual Tester
  12. 重复以上步骤将名为 View_Customer_List 的 Manual Tester Test 和 View Customer List 测试用例关联起来。
图10:测试脚本和测试用例的关联
Test script associated with test case
Test script associated with test case

View Existing Order 测试脚本已经和 View Existing Order Status 测试用例关联。(您的记录 ID 是:CQTST00000047,也可能不同。)

测试执行

为了让这篇教程更具一般适用性,我们假设您没有安装任何测试脚本执行工具,例如 Rational Manual Tester 或者 Rational Functional Tester。这就是为什么下一章节适用于您执行一个真实的测试。首先,您运行一个测试用例,然后创建一个测试用例套件。您的第一步,(忽略您是如何执行的测试)是将配置和测试用例关联起来。(查看 图11。)

关联配置和测试用例

测试用例是抽象的工件。一个测试用例代表了您需要测试的东西,但是一个测试用例本身并不能执行。一个测试用例只有当您将它和特定的配置关联起来时,它才能执行。您在这个教程中已经创建了两个配置,因此您的下一步工作是将测试用例邦定到这两个配置。

按照下列步骤关联您的配置和测试用例:

  1. 按住Ctrl键同时选中所有三个测试用例,然后点击这三个您之前创建的测试用例:Place Valid OrderView Customer ListView Existing Order Status
  2. 右键点击 Place Valid Order 测试用例(或者任何其它两个测试用例),然后选择 Add Configured Test Case 选项。
  3. Add Configured Test Cases 对话框中,选择 Recommended Windows XP Configuration 选项。
  4. 点击 OK 添加配置到三个测试用例。
  5. 重复这个过程,添加 Minimum Memory XP配置到 Place Valid Order 测试用例。
图11:您的测试计划过程已经完成,配置好的测试用例已经准备就绪
Configured test cases
Configured test cases

安排测试迭代进度

您可以把配置想象成定义在哪里运行一个测试用例。在 ClearQuest 中,您同时要定义什么时间运行一个测试用例。什么时间运行一个测试用例叫做迭代。(查看 图12。)

如果您熟悉 IBM Rational Unified Process®,或者 RUP®,那么您就不会对这里的迭代概念感到陌生。Rational TestManager 的用户也对迭代概念比较熟悉。一个迭代的目的是详细说明在什么时间点上,或者在开发的什么阶段,一个测试用例可以被运行。

迭代对于您的组织和开发过程来说是特定的。使用下面的步骤创建三个简单的开发或者迭代场景:

  1. 右键点击您的资产注册的 Iterations 文件夹,然后选择 New Iteration 选项。
  2. 提供 NameInception
  3. 提供 Start Date2007 年 1 月 1 日
  4. 提供 End Date2007 年 1 月 31 日
  5. 点击 OK 创建迭代。
  6. 重复以上步骤创建一个名为 Elaboration 的迭代,让其从2007 年 1 月 1 日开始运行,直到2007 年 2 月 28 日。
  7. 再次重复这个过程,创建一个名为 Construction 的迭代,运行时间为2007 年 3 月 1 日到2007 年 3 月 31 日。
图12:迭代
Iterations
Iterations

运行一个单独配置测试用例

对于这个重要的步骤来说,运行或者执行一个测试的实际过程出奇的简单。右键点击 配置的测试用例,然后选择 Execute 选项。您需要安装好自动化工具才能执行一个配置好的测试用例。如果没有安装这个工具,执行选项是不可用的。

注释:

测试执行不可能来自所有的 ClearQuest 客户端。Windows 和 Web 客户端不能执行任何脚本文件。Linux 客户端只能执行 Rational Functional Tester Java 脚本。这篇教程中您使用的 ClearQuest 客户端只能执行 Rational Manual Tester 脚本。只有 Eclipse 插件程序可以执行所有类型的脚本。因此,对于所有直接从 ClearQuest 启动脚本的用户来说,我们建议您使用 Eclipse 插件程序作为您的主要 ClearQuest 客户端。

创建一个已配置测试用例套件

虽然存在可能性,但是您不会经常执行单个的已配置测试用例。您很有可能为连续的执行过程聚集一系列已配置的测试用例。在 ClearQuest 中,这叫作测试套件。(查看 图13。)

按照下列步骤创建一个已配置测试用例的测试套件:

  1. 右键点击资产注册的 Test Suites 文件夹,然后选择 New Test Suite 选项。
  2. Main标签中,使用:Smoke Test Suite 作为标题。
  3. Execution 标签中,选择 Recommended Windows XP Configuration
  4. 点击 OK 创建测试套件。

按照下列步骤添加已配置的测试用例到您的测试套件:

  1. 右键点击您新创建的 Smoke Test Suite,然后选择 Configure... 选项。
  2. 点击 Add... 按钮。
  3. 所有测试用例都被配置成符合套件配置的配置,它们将以列表的形式显示。
  4. 点击 第一个测试用选择 所有测试用例 然后按住 Shift键 直到选中最后一个测试用例。
  5. 点击 OK 按钮添加测试用例。
  6. 点击最后一个已配置测试用例 View Existing Order Status
  7. 点击 Move Up 将这个测试用例移动到第二个位置。测试脚本按照对话框中显示的顺序执行。
  8. 点击 Finish 按钮完成测试套件配置,
图13:按照对话框中显示的顺序执行已配置的测试用例
Test suite configuration with configured test cases
Test suite configuration with configured test cases

运行一个测试套件

和运行一个单独的已配置测试用例一样,您只需要右键点击 测试套件 按钮来执行一个套件,然后选择 Execute 按钮。我们现在不需要执行这个测试。在下面的步骤中,您将通过导入 IBM Rational 测试实验室已经运行的结果,来模拟一个执行过程。

导入测试结果

这时,您通常会运行您的已配置测试用例或者测试套件,您的结果会自动作为测试日志记录出现在 ClearQuest 中。但是,由于我们工作在假定您使用这些工具的情况下,您将会使用一个替代的方法来在 ClearQuest 中显示测试日志记录。

ClearQuest 有一个导入函数,它可以让您将一个测试日志记录和已配置测试用例关联起来。一个测试日志记录包含两条关键信息:一个时间和日期的标签和一个结果。结果 的状态有 Pass,Fail 或者 Inconclusive。测试日志记录是重要的资产。当与其他测试日志记录结合时,它提供给您关于测试项目的最多的信息。

按照下列步骤为您的已配置测试用例导入测试日志记录:

  1. 右键点击 Place Valid Order - Recommended Windows XP Configuration 已配置测试用例,然后选择导入 Test Log... 选项。
  2. Test Type 中,选择 Rational Functional Tester。
  3. 选择测试日志:Functional Tests_logs > Place_Valid_Order > null
  4. 输入名称:Build 1
  5. 点击 Finish 按钮导入记录。
  6. Test Results 视图中,右键点击新导入的记录,然后选择 Commit 按钮。

测试分析

最后,我们来到了最终的精彩部分。在这里您会体会到之前艰苦捕获和执行所有测试用例的好处。在这个部分中,您可以运行查询和报告,来给您的测试项目一个确定性的诊断。您可以随时运行这些报告,以便获得最新的状态信息报告。

您还可以和小组中的其他成员共享报告和查询结果。配置了 ClearQuest Web的用户可以提供访问所有报告的 Web 路径。没有设置 ClearQuest 免费特性的用户可以通过导出结果或者发送 e-mail 给小组其他成员。

不管您怎样传递您的信息给您的同事,ClearQuest 提供给您所有访问测试中应用程序所必需的信息。

切换到 Sample 数据库

在这篇教程中,您需要针对预装载的数据库结果做分析,这比导入成百上千的测试日志要节省很多时间。这个样本数据库中还包含很多来自 IBM Rational 自定义的查询,您可以在您的项目中使用它们。(查看 图14。)

按照下列步骤连接到样本数据库。

  1. 选择 File > Database > Manage connections
  2. 点击 Add Database Set... 按钮。
  3. Name 中,输入 Tutorial,然后选择 MS_ACCESS 作为 Vendor
  4. 点击 Next,然后浏览C:\CQTM Test Scripts\CQTM Sample Data\SampleMaster.mdb
  5. 点击 Add Connection...
  6. 选择名叫 TutorialSchema Repository,然后点击 Next 按钮。
  7. 提供 用户 ID:jan(区分大小写),然后点击 Finish 按钮。
  8. Connect 对话框中,提供密码:jan。选择 Remember the password,然后点击 OK 按钮。
  9. 点击 Close关闭 ClearQuest Connection Management对话框。
图14:新创建的教程样例数据数据库连接
New connection to Sample Data
New connection to Sample Data

ClearQuest 提供图表、查询和报告

ClearQuest 提供三种分析数据的格式:图表,查询和报告。(参见 图15。)您将会看到所有这三种方法的范例。

按照下列步骤导航到分析工具:

  1. 转到 ClearQuest Navigator 标签。
  2. 断开 admin, CQTM@CQTST 的连接。
  3. 打开 jan,Tutorial@AUCT连接。
  4. 打开公共的 Queries 文件夹,然后找到 TM ChartsTM QueriesTM Reports 文件夹。接下来的所有工作都在这个文件夹中完成。
图15:TM Charts,TM Queries 和 TM Reports 文件夹包含分析工具
TM Charts, Queries, and Reports folders
TM Charts, Queries, and Reports folders

运行 ClearQuest TestManager Charts

按照下列步骤检查一些外部的包含 ClearQuest 的图表(查看 图16图17的例子):

  1. 展开 TM Charts文件夹
  2. 双击 Execution - Verdict Distribution图表
  3. 加亮Auction 资产注册。
  4. 点击 OK运行报告。
  5. 双击 Clear Quest Chart: Execution - Verdict Distribution标签展开报告到最大尺寸。
图16:这个图表显示了资产注册中所有通过或者失败的结果。这是所有测试的一个高层次、全局性的概括。
Test execution verdict distribution chart
Test execution verdict distribution chart
  1. 双击 Clear Quest Chart: Execution - Verdict Distribution标签返回到标准尺寸。
  2. 关闭 Clear Quest Chart: Execution - Verdict Distribution标签。
  3. 通过双击图表名运行CTC - Iteration Distribution图表。展开图表到适合尺寸。
图17:这个图表显示了所有已配置的并绑定迭代号码的测试用例。您可以使用这个报告来查看您将会在哪个场景执行测试。
CTC Iteration distribution chart
CTC Iteration distribution chart

运行 ClearQuest TestManager Reports

图表只包含图形数据,报告既包含图形也包含文本数据。

按照下列步骤跳过 ClearQuest 检查报告:

  1. 关闭 TM Charts 文件夹
  2. 展开TM Reports 文件夹
  3. 双击 Verdict Summary by Build 报告运行它。
  4. 选择 Asset Registry Auction属性。
  5. 点击 OK 按钮运行报告
  6. 双击 Verdict Summary by Build 标签展开报告到全尺寸。
图18:构建报告的结论总结
Verdict Summary by Build report
Verdict Summary by Build report

ClearQuest Reports 即可以包含图形也可以包含文本数据。在 图19中,构建报告的结论总结根据构建将通过或者失败结果进行总结。您还会得到用 Crystal Reports 报告编辑软件编辑 的 ClearQuest 报告选项,这个报告编辑软件在 Business Objects 中是可用的。

运行 ClearQuest TestManager 查询

查询并没有提供图表和报告可以提供的图示表示,但它们是数据分析工具包中最强大的工具。您可以使用查询来获得任何想要的数据。它们很容易构建、运行并且可以提供任何层次的信息。

按照下列步骤运行 ClearQuest TestManager中的一些查询:

  1. 关闭 TM Reports 文件夹
  2. 展开TM Queries 文件夹
  3. 双击 Configured Test Cases - Verdict History运行查询。
  4. 选择 Asset Registry Auction 选项。
  5. 点击 OK 运行报告。
图19:Configured Test Cases - Verdict History 查询
Configured Test Cases - Verdict History query
Configured Test Cases - Verdict History query

Configured Test Cases - Verdict History查询提供给我们每一个已配置测试用例的执行结果的列表。您可以使用这个查询来研究一个给定的配置测试用例是否曾经失败过。

创建您自己的查询

您很可能需要创建您自己的查询来分析数据。请想象一下如果您的项目经理来到您面前,让您列出现在失败的所有测试用例。您此时作何反应? ClearQuest 中包含所有的信息,但是您如何得到它呢?

按照下列步骤创建一个通用请求,来显示哪一个已配置的测试用例执行失败了。

  1. 右键点击 jan, Tutorial@AUCT连接的 Personal Queries 文件夹,然后选择 New Query 选项。
  2. 提供查询名称:Failing Tests
  3. 选择记录类型TMConfiguredTestCase运行查询,其中包括您的已配置测试用例的信息。
  4. 您首先要提供查询过滤器,仅仅选择在大部分执行中失败的已配置测试用例。您需要过滤掉Test Log VerdictTest Log Latest 区域。首先,展开TMConfiguredTestCase 文件夹的 TestLogs分支,然后双击选择 LatestVerdict
  5. 点击 Next来为这些区域指定过滤的值。
  6. 在右侧展开And过滤器,然后选择 TestLogs Verdict域。在 Define Filters 对话框中,请确定控制器是Equal
  7. 点击 Values,然后选择 Fail 按钮。
  8. 点击 OK关闭对话框。
  9. 选择 TestLogs.Latest过滤器,再次确定控制器被设置成 Equal
  10. Values区域中,输入 True。设置这两个过滤器意味着您只能看到已配置测试用例在大多数测试中都失败的情况。
  11. 点击 Next选择区域显示查询结果。
  12. 双击 ID 域,将其添加到显示列表。在资料栏中,选择 Ascending
  13. 双击 Headline域将其添加到显示列表。
  14. 双击 TestLogs > Verdict域将其添加到显示列表。
  15. 点击 Finish 按钮。
  16. 您的查询已经完成,并会显示在您的个人查询文件夹中。
  17. 双击 query 查看结果(查看 图20)。
图20:执行失败的已配置测试用例的查询
Query for Failing Configured Test Cases
Query for Failing Configured Test Cases

您的自定义查询显示了所有已配置测试用例的列表,其中大部分是执行失败 的结果。您可以双击任何一个记录,来阅读记录的详细信息。

检查 ClearQuest 的自定义查询

您会注意到在 Personal Queries 文件夹中有很多查询。它们都是自定义设计的查询,这些查询是由IBM Rational实验室的测试人员为您检查和尝试而构建的。这些查询中包含很多来自不同类型记录的信息。例如,在 Integrated Requirement-Defect-TestCase Queries 文件夹中,您会找到将测试用例和需求关联起来的记录。从这些查询中使用、检查以及学习 ClearQuest 是如何向您提供您用来测试软件质量和跟踪测试项目的所有信息。

下一步

这篇教程涉及了很大的范围。从您创建测试计划和测试用例开始。之后创建了配置和迭代,学会了如何运行一个 ClearQuest 测试,以及如何导入测试用例结果。最终的目标是让您找到存放将所有测试项目的数据转换成有用信息的位置。您在分析阶段通过检查 ClearQuest 提供的查询,图表和报告已经完成这项工作。然后您创建了查询,来提取您需要的特定信息。

虽然您刚刚完成了 ClearQuest TestManager 基础培训,但是您对它还只是略知皮毛。您还未触及电子签名、审计追踪以及通过使用 ClearQuest MultiSite 和 ClearQuest Web 在远程站点共享数据。您还未定制过任何区域,窗体或者动作。当您想要获得更多信息时,您会发现还有很多知识需要去学习。

这就是 IBM Rational ClearQuest 的优点。对于初学者来说,您可以使用其提供的配置来运行程序。对于那些想要订制 ClearQuest 各种选项的人来说,它有一定的局限性。


下载资源


相关主题

  • 您可以参阅本文在 developerWorks 全球网站上的 英文原文

评论

添加或订阅评论,请先登录注册

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=10
Zone=Rational
ArticleID=249606
ArticleTitle=使用 Rational ClearQuest TestManager 运行并分析软件测试
publish-date=08092007