内容


在 IBM Rational Test Workbench 上通过 IBM Rational Quality Manager 测量移动应用程序的性能

分步指南

Comments

IBM Rational Test Workbench 8.6 版引入了测量 Android 和 iOS 平台的原生、混合和 Web 应用程序性能的一些特性。这些特性为之前发布的功能测试特性提供了补充。IBM Rational Quality Manager 是一个协作式、基于 Web 的解决方案,被用于全面的测试规划、测试资产管理和测试执行平台。

先决条件

要执行本文中的步骤,您需要:

  • 安装 IBM Rational Test Workbench Eclipse Client Version 8.6
  • 安装 IBM Rational Quality Manager Version 4.0.6
  • iOS 设备或模拟器
    • iOS 模拟器:带 iOS 6.1 的 iPhone Retina(4 英寸)

本文将介绍如何:

  • 设置一个 IBM Rational Test Workbench Eclipse 客户端:这个分步指南将介绍如何设置 IBM Rational Test Workbench Eclipse 客户端来创建和收集测试工件(比如仪表化的应用程序、测试记录、测试方案、测试结果和日志),然后让结果可供浏览。
  • 设置 iOS 模拟器:这个分步指南设置了一个 iOS 模拟器来安装接受测试的应用程序,连接到 Rational Test Workbench,创建测试记录,浏览并运行测试方案,并检查测试报告。
  • 设置 IBM Rational Quality Manager:学习配置 Rational Test Workbench 来连接 Rational Quality Manager 适配器。在建立连接之后,您可以在 IBM Rational Quality Manager 上创建工件来链接到 IBM Rational Test Workbench Eclipse 客户端中存储的测试方案,并通过 Rational Test Workbench 触发这些相同的方案在 iOS 模拟器上的运行。
  • 从 iOS 模拟器上的 Rational Quality Manager 运行测试:学习如何运行整体设置。

设置 IBM Rational Test Workbench Eclipse 客户端

要设置 IBM Rational Test Workbench Eclipse 客户端,首先需要创建一个 Rational Test Workbench 项目。要创建 Rational Test Workbench 项目:

  1. 单击 New 工具栏按钮,然后选择子菜单 Test Workbench Project,如图 1 所示。
    图 1. 新 Rational Test Workbench 项目
    Test Workbench Project 菜单
    Test Workbench Project 菜单
     
  2. 在项目名称字段中键入您项目的名称。图 2 显示了 twpUICatalog 作为项目名称。
  3. 单击 next
    图 2. Create a Test Workbench project 对话框
    Create a Test Workbench project 页面
    Create a Test Workbench project 页面
     
  4. 选择默认文件夹来存储各种类型的资产:Compound Tests、Datapools、Results 和 Tests。单击 Finish,如图 3 所示。
    图 3. 新项目中的文件夹
    新项目中的默认文件夹
    新项目中的默认文件夹
     
  5. 在 Test Navigator 框中,验证您的项目(图 4 中所示和本文中使用的示例:twpUICatalog)已列出,而且它包含默认文件夹。
    图 4. Test Navigator 视图中的 Rational Test Workbench 项目
    Test Navigator 视图
    Test Navigator 视图

 

下一个步骤序列将帮助您下载脚本,以便在 MacBook 上仪表化(instrument)一个 iOS 应用程序。

  1. 在 Mac OS 上打开一个 Web 浏览器。在浏览器地址栏中输入运行的 Rational Test Workbench 的 URL,如图 4 所示。在欢迎页面上,单击链接 Click here to start archive download
    图 5. Mac OS 欢迎页面
    Mac OS 欢迎页面
    Mac OS 欢迎页面
     
  2. 确认归档文件 RTW-iOS-Build-Archive.zip 已在 MacBook 上,并且已经下载和解压。
  3. 确认解压的文件夹包含子文件夹 build-script

 

要仪表化该应用程序,请执行以下操作:

  1. 在 MacBook 上启动一个终端控制台。准确地输入命令 <下载文件夹路径>/RTW-iOS-Build-Archive/build-script/rtwBuildXcode.sh <应用程序的 .xcodeproj 文件路径>
    备注
    您也可以指定工作台 URL,自动将仪表化的应用程序包推送到工作台
    备注:
    指定 simu 作为最后一个参数,以便将检测的应用程序安装在活动的或默认的 iOS 模拟器上。本文中使用了图 6 中所示的命令。
    图 6. 仪表化应用程序的脚本
    仪表化应用程序的脚本
    仪表化应用程序的脚本
     
  2. 确认压缩文件 RmotUICatalog.zip 位于终端的当前工作目录中。

    接下来将仪表化的 iOS 应用程序添加到 Rational Test Workbench 中。
  3. 在 Rational Test Workbench 中,UICatalog 被列出为一个传入的应用程序。您需要将托管应用程序的列表添加到 Rational Test Workbench 中。
    图 7. 移动和 Web UI 应用程序编辑器
    移动和 Web UI 应用程序编辑器
    移动和 Web UI 应用程序编辑器
     
  4. 如果未在应用程序仪表化命令中指定工作台 URL,请按照 New > Test >Add Application 顺序将仪表化的应用程序添加到托管应用程序列表中。

设置一个 iOS 模拟器

要将仪表化的应用程序安装在模拟器上:

  1. 确认仪表化的应用程序已自动安装在活动的 iOS 模拟器上。图 8 显示了模拟器。
    图 8. 安装了应用程序的 iOS 模拟器
    安装了应用程序的 iOS 模拟器
    安装了应用程序的 iOS 模拟器
     
  2. 如果未在仪表化命令中指定 simu 作为最后一个参数,那么必须手动安装仪表化的应用程序。
    1. 解压 RmotUICatalog.zip 文件。确认 RmotUICatalog/instrumented/iOS Simulator/UICatalog.ipa 已解压。
    2. 打开一个终端实例并运行 <下载文件夹路径>/RTW-iOS-Build-Archive/build-script/installIPAInSimu.sh <“RmotUICatalog/instrumented/iOS Simulator/UICatalog.ipa” 的路径> 命令
    3. 确认 UICatalog 应用程序已安装在模拟器上。

 

要在模拟器上浏览 IBM Rational Test Workbench Mobile 客户端,您需要:

  1. 在模拟器上启动一个 Web 浏览器。在地址字段中输入 Rational Test Workbench 的 URL。将打开移动客户端主页。
    图 9. IBM Rational Test Workbench Mobile 客户端 UI
    IBM Rational Test Workbench Mobile 客户端 UI
    IBM Rational Test Workbench Mobile 客户端 UI
     
  2. 确认该模拟器已列出为一个连接的设备,如图 10 所示。
    图 10. 包含连接的设备的 Test Navigator 视图
    包含连接的设备的 Test Navigator 视图 
  3. 在模拟器上的移动客户端中,单击 Manage applications。这将打开应用程序列表页面。
  4. 确认 UICatalog 已列出。
  5. 单击 UICatalog。这将打开一个列出所选应用程序的现有测试的页面。此页面包含在您想要记录新测试时将会使用的 Record 按钮。此刻未列出任何测试。

 

要记录一次移动测试:

  1. 单击 Record 按钮,如图 11 所示。
    图 11. 带 Record 按钮的 Applications 视图
    带 Record 按钮的 Applications 视图
    带 Record 按钮的 Applications 视图
     
  2. 将打开模拟器上的 UICatalog 应用程序。
    备注
    作为测试方案的一部分,您可以在应用程序上执行各种操作。完成所有步骤后,切换回 Web 浏览器上的移动客户端。
  3. 图 12 显示了如何在 Rational Test Workbench 上确认报告了一个传入的记录。
  4. 按下 Click here 链接。
  5. 按照 New Test from Incoming Recordings 向导所提示的说明,从记录中创建一个测试方案。
    图 12. Test Navigator 视图中的传入记录消息
    Test Navigator 视图中的传入记录消息
    Test Navigator 视图中的传入记录消息
     
  6. 向导完成后,确认创建的测试位于指定的位置。
  7. 打开测试方案以验证生成的测试步骤,如图 13 所示。
    图 13. 测试编辑器显示了记录的步骤

    要从移动客户端运行测试并检查报告,可以刷新模拟器上的移动客户端页面。您可以注意到,该测试在 UICatalog 应用程序的页面桑列出,如图 14 所示。
     
    图 14. Applications 视图显示了记录的测试
     
  8. 在移动客户端上,单击 testUICat1,然后按下 Run Test 按钮。该测试将在模拟器上运行。在启动测试后,UICatalog 应用程序将会启动,测试步骤将会自动运行。
  9. 确认 Rational Test Workbench 中显示了报告。
图 15. 移动报告
移动报告
移动报告

 

将移动客户端切换到被动模式

  1. 在模拟器上,返回到移动客户端的主页。
  2. 单击 Enter Passive Mode 选项。

 

从 Rational Test Workbench 运行测试

  1. 在 Rational Test Workbench 上,打开 testUICat1 测试方案。
  2. 单击编辑器上的 Run Test 按钮,如图 16 所示。
    图 16. 测试编辑器显示了 Run Test 按钮
    测试编辑器显示了 Run Test 按钮
    测试编辑器显示了 Run Test 按钮
     
  3. 打开运行向导后,选择连接的模拟器设备作为目标。
  4. 选择 Resource Monitoring 复选框,如图 17 所示。这会在设备(在本例中为模拟器)上启用 Resource monitoring 计数器集合。
  5. 按下 Finish 按钮。
    图 17. Run Configuration 对话框
    Run Configurations 对话框
    Run Configurations 对话框
     
  6. 在模拟器上确认 UICatalog 已启动,而且测试步骤已按预期运行。

 

检查报告

  1. 确认已在 Rational Test Workbench 中打开了统计报告和基于 Web 的常规测试报告。
  2. 确保统计报告包含 3 个选项卡。第三个选项卡是 Resources 选项卡。统计报告的这个选项卡上的图表描绘了某个时间范围内的资源监视计数器,如图 18 所示。
图 18. 移动报告中的资源监视选项卡
移动报告中的资源监视选项卡
移动报告中的资源监视选项卡

设置 IBM Rational Quality Manager

要设置 IBM Rational Quality Manager,首先需要在工作台上配置 Quality Manager Adapter。

  1. 打开 IBM Rational Test Workbench Eclipse 客户端中的首选项页面。找到首选项页面。在字段中指定合适的值,使工作台连接到您的 Quality Manager Server。
    图 19. Rational Test Workbench Preferences 对话框
    Rational Test Workbench Preferences 对话框
    Rational Test Workbench Preferences 对话框
     
  2. 打开 Quality Manager Adapter 视图,如图 20 所示。
  3. 按下 Connect 工具栏按钮。确认状态已更改为已连接。
    图 20. Quality Manager Adapter 视图
    Quality Manager Adapter 视图
    Quality Manager Adapter 视图
     

浏览 IBM Rational Quality Manager 的 Web 客户端

  • 打开 Web 浏览器并找到 IBM Rational Quality Manager 的 Web 客户端。
  • 输入您的用户凭据。

创建一个测试案例

  1. 单击 Rational Quality Manager Web 控制台上的主菜单中的 Construction
  2. 单击 Create 部分中的 Test Case,如图 21 所示。
    图 21. 在Rational Quality Manager 中创建一个测试案例
    在 Rational Quality Manager 中创建一个测试案例
    在 Rational Quality Manager 中创建一个测试案例
     
  3. 在 Test Case 页面上指定名称并选择合适的值,然后单击 Save
    图 22. 测试案例创建页面
    Test Case 页面
    Test Case 页面
     

 

要创建一个测试脚本:

  1. Construction 菜单上,单击 Test Script,它位于 Create 部分的下方,如图 23 所示。
    图 23. 创建一个测试脚本
    Test Script 菜单
    Test Script 菜单
     
  2. 完成 Test Script 页面上的文本字段。
  3. type 字段中指定 Rational Test Workbench 作为值。
  4. 在 Rational Test Workbench 脚本部分中,选择 Use test resources that are local to a test machine
  5. 按下 Select Adapter 按钮。
    图 24. 测试脚本创建页面
    测试脚本创建页面
    测试脚本创建页面
     
  6. 在 Step 1 页面上,选择合适的本地机器。确保 Health 列中的图标是绿色的。
  7. 按下 Next
  8. Step 2 页面上,键入完整的项目路径。
  9. 按下 Go 按钮。将搜索并列出此项目中存储的所有测试方案。
    备注:要在脚本运行时为一个本地机器提供优先权,可以选择 Project Path 文本字段下的复选框。正确地选择测试方案。
  10. 按下 Finish 按钮。
    图 25. Import Test Script 页面
    Import Test Script 页面
    Import Test Script 页面
     
  11. 保存测试脚本。

 

接下来您需要将一个测试脚本添加到测试案例中。

  1. 单击菜单中的 Construction > Browse > Test Cases,找到之前创建的测试案例。
  2. 在 Test Scripts 框中,单击 + 工具栏添加测试脚本,如图 26 所示。
    图 26. Test Case 页面
    Test Case 页面
    Test Case 页面
     
  3. 在打开的对话框中,搜索并选择您创建的测试脚本。
  4. 保存测试案例。

 

添加执行变量

添加执行变量是为了定义在测试案例运行时要传递的运行时变量的值。要定义的 3 个重要变量是:

  • RTW_Mobile_Selected_Device:连接的目标设备或模拟器的惟一 id。
  • rm.collect:一个布尔标志,用于在测试时启用(设置为 true)或禁用(设置为 false)资源监视计数器数据收集。
  • rm.collect.interval:一个整数,用于指定收集资源监视计数器数据的间隔(以 毫秒 为单位)。它应该是 10005000 之间的值。如果未指定为变量,那么默认值为 5000

 

要添加执行变量:

  1. 在 Test Cases 页面上,单击 Manage Sections 链接打开 Manage Sections 对话框。
    图 27. Test Case 中的 Manage Sections 对话框
    Test Case 中的 Manage Sections 对话框
    Test Case 中的 Manage Sections 对话框
     
  2. 在 Rational Test Workbench 上,单击工具栏上的 Display available mobile devices 按钮调出连接的设备的列表。
  3. 选择将用来运行测试的模拟器。
  4. Device property 部分中,复制 id 字段中的值。
  5. 单击 Execution Variable 部分中的 x
  6. 在打开的对话框中,在 Name 字段中键入 RTW_Mobile_Selected_Device
  7. 将复制的设备 id 值粘贴到 Value 字段中。
    图 28. Create Execution Variable 对话框
    Create Execution Variable 对话框
    Create Execution Variable 对话框
     
  8. 重复第 6-8 步创建另一个执行变量。
  9. 将此变量命名为 rm.collect,并将值设置为 true
    备注:如果您愿意的话,还可以创建第三个变量 rm.collect.interval,将它值设置为 1000 到 5000 之间的一个有效数字。
  10. 保存测试案例。

从 Rational Quality Manager 中在 iOS 模拟器上运行测试

要创建一个测试案例执行记录:

  1. 在 Rational Quality Manager 中的测试案例中,单击各部分的列表中的 Test Case Execution Records
  2. 单击 Generate new Test Case Execution Record 工具栏按钮。
  3. 按照打开的对话框中的说明来指定值。
    图 29. Test Case Execution Records 页面
    Test Case Execution Records 页面
    Test Case Execution Records 页面
     
  4. 保存测试案例。

 

现在需要运行该测试执行记录。

  1. 选择新的测试案例执行记录,然后单击 Run Test > Run with options,如图 30 所示。
    图 30. 在 Test Case Execution Records 页面中运行一个测试选项
    在 Test Case Execution Records 页面中运行一个测试选项
    在 Test Case Execution Records 页面中运行一个测试选项
     
  2. 确认打开的对话框上的机器状态显示为绿色,如图 31 所示。
    图 31. Run with Options 对话框
    机器名称旁边的绿色圆圈
    机器名称旁边的绿色圆圈
     
  3. 单击 Finish 按钮。
    备注
    您可能希望编辑,在单击 Finish 按钮之前,可以单击 Next 编辑执行变量。
  4. 可以确认测试已在目标模拟器上自动开始执行,如图 32 所示。
  5. 在 Rational Test Workbench 中确认测试报告可以查看并会自动刷新。
    图 32. Rational Test Workbench 中的移动报告
    Rational Test Workbench 中的移动报告
    Rational Test Workbench 中的移动报告
     
  6. 在 Rational Quality Manager Web 控制台中,确认活动的 Test Case Execution Record 页面上的状态会定期更新,如图 23 所示。
    图 33. Test Case Execution Record 页面
    Test Case Execution Record 页面
    Test Case Execution Record 页面
     
  7. 测试执行完成后,状态栏显示 100% 且 Show Results 按钮变为可单击。
  8. 单击 Show Results 按钮。这将打开一个包含各个测试报告的链接的页面。
    图 34. Results Details 页面
    Results Details 页面
    Results Details 页面
     
  9. 单击以 “Mobile and Web UI Statistical Report” 开头的链接来查看资源监视计数器图表。
  10. 这将打开一个新页面。单击这个新页面上的 Resources 链接。
    备注
    您还可以在 Test Navigator 视图中的 RQM_Results 节点中查看存储在 Rational Test Workbench 内的测试执行结果,如图 35 所示。
    图 35. 包含 RQM_Results 的 Test Navigator 视图
    包含 RQM_Results 的 Test Navigator 视图
    包含 RQM_Results 的 Test Navigator 视图
     

结束语

在本文中,您学习了:

  • 配置 IBM Rational Test Workbench Eclipse 客户端来帮助仪表化一个 iOS 原生应用程序
  • 将仪表化的应用程序安装在 iOS 模拟器上
  • 记录并从模拟器和 Rational Test Workbench 运行测试方案
  • 通过 Rational Quality Manager Adapter 将 Rational Test Workbench 连接到 Rational Quality Manager
  • 在 Rational Quality Manager 上将一个测试方案链接到某个测试脚本
  • 将同一个测试脚本链接到一个测试案例
  • 配置启动变量来指定运行参数
  • 在 Rational Quality Manager Web 控制台上创建和运行测试案例执行记录,该控制台通过测试工作台实际触发目标模拟器上链接的测试方案的执行。

如果想要试验所学的知识,那么可以创建多个测试方案,并将它们链接到不同的测试脚本,然后在单个测试案例中一起运行所有这些脚本。如果在运行时修改执行变量,那么还可以打开和关闭资源监视。


相关主题


评论

添加或订阅评论,请先登录注册

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=10
Zone=Rational
ArticleID=992556
ArticleTitle=在 IBM Rational Test Workbench 上通过 IBM Rational Quality Manager 测量移动应用程序的性能
publish-date=12112014