Содержание


Измерение производительности мобильных приложений в IBM Rational Test Workbench с помощью IBM Rational Quality Manager

Пошаговое руководство

Comments

IBM Rational Test Workbench версии 8.6 содержит функции для измерения производительности нативных, гибридных и веб-приложений для платформ Android и iOS. Это дополнение к выпущенной ранее системе функционального тестирования. IBM Rational Quality Manager — это веб-решение для коллективной работы по планированию сложных испытаний и управления ресурсами испытаний, а также платформа для проведения таких испытаний.

Предварительные условия

Чтобы выполнить действия, описанные в этой статье, необходимы:

  • Установленная система IBM Rational Test Workbench Eclipse Client версии 8.6
  • Установленная система IBM Rational Quality Manager версии 4.0.6
  • Устройство iOS или его имитатор
    • Имитатор iOS: iPhone Retina (4-дюймовый) с iOS 6.1

В этой статье показано, как:

  • настроить клиент IBM Rational Test Workbench Eclipse: в этом пошаговом руководстве показано, как настроить IBM Rational Test Workbench Eclipse Client для создания и сбора артефактов в процессе испытаний (инструментированных приложений, протоколов, сценариев, результатов, журналов и т.п.), а затем сделать результаты просматриваемыми;
  • настроить имитатор iOS: это пошаговое руководство демонстрирует, как настроить имитатор iOS для установки тестируемого приложения, подключить его к Rational Test Workbench, создавать тестовые записи, просматривать и запускать сценарии тестирования и просматривать протоколы испытаний;
  • настроить IBM Rational Quality Manager: научитесь настраивать Rational Test Workbench для соединения с адаптером Rational Quality Manager. Это позволит создавать артефакты в IBM Rational Quality Manager для установления связи с тестовыми сценариями, хранящимися в IBM Rational Test Workbench Eclipse Client, и запускать их на имитаторах iOS с помощью Rational Test Workbench;
  • выполнить тест на имитаторе iOS из Rational Quality Manager: вы узнаете, как собрать установку.

Установка клиента IBM Rational Test Workbench Eclipse

Чтобы настроить клиент IBM Rational Test Workbench Eclipse, сначала нужно создать проект Rational Test Workbench. Чтобы создать проект Rational Test Workbench:

  1. Нажмите кнопку New на панели инструментов и выберите подменю Test Workbench Project, как показано на рисунке 1.
    Рисунок 1. Создание проекта Rational Test Workbench
    Меню Test Workbench Project
    Меню Test Workbench Project
     
  2. В поле имени проекта введите имя своего проекта. На рисунке 2 показан проект с именем twpUICatalog.
  3. Нажмите кнопку Next.
    Рисунок 2. Диалоговое окно Create a Test Workbench project
    Страница Create a Test Workbench project
    Страница Create a Test Workbench project
     
  4. Выберите папки по умолчанию для хранения ресурсов разного типа: Compound Tests, Datapools, Results и Tests. Нажмите кнопку Finish, как показано на рисунке 3.
    Рисунок 3. Папки нового проекта
    Папки нового проекта
    Папки нового проекта
     
  5. В окне Test Navigator убедитесь, что ваш проект (пример показан на рисунке 4 и используется в этой статье) twpUICatalog вошел в список и содержит папки по умолчанию.
    Рисунок 4. Проект Rational Test Workbench в представлении Test Navigator
    Представление Test Navigator
    Представление Test Navigator

 

Следующая последовательность шагов поможет вам загрузить скрипты, позволяющие инструментировать iOS-приложение на ноутбуке MacBook.

  1. Откройте веб-браузер в Mac OS. Введите в адресную строку браузера URL-адрес Rational Test Workbench, как показано на рисунке 4. На странице приветствия нажмите на ссылку Click here to start archive download.
    Рисунок 5. Страница приветствия Mac OS
    Страница приветствия Mac OS
    Страница приветствия Mac OS
     
  2. Убедитесь, что на MacBook есть архив RTW-iOS-Build-Archive.zip, и распакуйте его.
  3. Убедитесь, что извлеченная папка содержит вложенную папку build-script.

 

Чтобы инструментировать приложение:

  1. Откройте консоль Terminal на MacBook. Введите следующую команду: <download folder path>/RTW-iOS-Build-Archive/build-script/rtwBuildXcode.sh <.xcodeproj file path of the application>.
    Примечание.
    Можно также указать URL-адрес Workbench для автоматической пересылки инструментированного приложения в Workbench.
    Примечание.
    В качестве последнего аргумента укажите simu, чтобы установить инструментированное приложение а активный имитатор iOS или имитатор iOS по умолчанию. В этой статье используется команда, показанная на рисунке 6.
    Рисунок 6. Скрипт для инструментирования приложения
    Скрипт для инструментирования приложения
    Скрипт для инструментирования приложения
     
  2. Убедитесь, что сжатый файл RmotUICatalog.zip находится в текущем рабочем каталоге терминала.

    Позднее мы добавим инструментированное iOS-приложение к Rational Test Workbench.
  3. В Rational Test Workbench Workbench в качестве входящего приложения значится UICatalog. В Rational Test Workbench нужно добавить список управляемых приложений.
    Рисунок 7. Редактор мобильных и веб-приложений
    Редактор мобильных и веб-приложений
    Редактор мобильных и веб-приложений
     
  4. Если вы не указали URL-адрес Workbench в команде инструментирования приложения, выполните последовательность New > Test >Add Application, чтобы добавить инструментированное приложение в список управляемых приложений.

Настройка имитатора iOS

Чтобы установить инструментированное приложение на имитатор:

  1. Убедитесь, что инструментированное приложение автоматически устанавливается на активный имитатор iOS. Имитатор показан на рисунке 8.
    Рисунок 8. Имитатор iOS с установленным приложением
    Имитатор iOS с установленным приложением
    Имитатор iOS с установленным приложением
     
  2. Если вы не указали simu в качестве последнего параметра в команде инструментирования, то нужно установить инструментированное приложение вручную.
    1. Распакуйте файл RmotUICatalog.zip. Убедитесь, что каталог RmotUICatalog/instrumented/iOS Simulator/UICatalog.ipa извлечен.
    2. Откройте экземпляр терминала и выполните команду <download folder path>/RTW-iOS-Build-Archive/build-script/installIPAInSimu.sh <path of "RmotUICatalog/instrumented/iOS Simulator/UICatalog.ipa">.
    3. Убедитесь, что на имитаторе установлено приложение UICatalog.

 

Чтобы просмотреть клиент IBM Rational Test Workbench Mobile на имитаторе:

  1. Запустите веб-браузер на имитаторе. Введите в поле адреса URL-адрес Rational Test Workbench. Откроется домашняя страница мобильного клиента.
    Рисунок 9. Страница IBM Rational Test Workbench Mobile Client
    Страница IBM Rational Test Workbench Mobile Client
    Страница IBM Rational Test Workbench Mobile Client
     
  2. Убедитесь, что имитатор указан в качестве одного из подключенных устройств, как показано на рисунке 10.
    Рисунок 10. Окно Test Navigator с подключенным устройством
    Окно Test Navigator с подключенным устройством 
  3. В мобильном клиенте на имитаторе нажмите кнопку Manage applications. Откроется страница со списком приложений.
  4. Убедитесь в наличии UICatalog.
  5. Нажмите на UICatalog. Откроется страница со списком существующих тестов для выбранного приложения. На ней есть кнопка Record для записи нового теста. Пока никакие тесты не записаны.

 

Чтобы записать мобильный тест:

  1. Нажмите кнопку Record, как показано на рисунке 11.
    Рисунок 11. Список приложений с кнопкой Record
    Список приложений с кнопкой Record
    Список приложений с кнопкой Record
     
  2. Откроется приложение UICatalog на имитаторе.
    Примечание.
    В рамках этого сценария тестирования в приложении можно выполнять различные действия. По окончании всех шагов возвратитесь в мобильный клиент, открытый в веб-браузере.
  3. На рисунке 12 показано, как в Rational Test Workbench проверить, что сообщение отображается.
  4. Нажмите на ссылку Click here.
  5. Следуйте инструкциям мастера New Test from Incoming Recordings, чтобы создать сценарий тестирования из своей записи.
    Рисунок 12. Входящее сообщение о записи в окне Test Navigator
    Входящее сообщение о записи в окне Test Navigator
    Входящее сообщение о записи в окне Test Navigator
     
  6. По завершении работы мастера убедитесь, что созданный тест находится в указанном месте.
  7. Откройте сценарий тестирования и проверьте созданные действия, как показано на рисунке 13.
    Рисунок 13. Редактор тестирования с записанными шагами

    Чтобы запустить тест из мобильного клиента и увидеть отчет, обновите страницу мобильного клиента в имитаторе. Обратите внимание, что тест указан на странице приложения UICatalog, как показано на рисунке 14.
     
    Рисунок 14. Представление приложений с записью теста
     
  8. На мобильном клиенте щелкните на testUICat1, затем нажмите кнопку Run Test. На имитаторе выполняется тест. После запуска теста запускается приложение UICatalog, и шаги теста выполняются автоматически.
  9. Проверьте, что в Rational Test Workbench присутствует протокол.
Рисунок 15. Протокол испытаний мобильного приложения
Протокол испытаний мобильного приложения
Протокол испытаний мобильного приложения

 

Переключите мобильный клиент в пассивный режим

  1. Вернитесь на домашнюю страницу мобильного клиента на имитаторе.
  2. Выберите Enter Passive Mode.

 

Выполните тест из Rational Test Workbench

  1. В Rational Test Workbench откройте сценарий теста testUICat1.
  2. Нажмите кнопку Run Test, как показано на рисунке 16.
    Рисунок 16. Редактор тестов с кнопкой Run Test
    Редактор тестов с кнопкой Run Test
    Редактор тестов с кнопкой Run Test
     
  3. Когда откроется мастер, выберите в качестве цели подключенный имитатор устройства.
  4. Установите флажок Resource Monitoring, как показано на рисунке 17. Это позволит собирать данные счетчиков Resource monitoring на устройстве (в данном случае – в имитаторе).
  5. Нажмите кнопку Finish.
    Рисунок 17. Диалоговое окно Run Configuration
    Диалоговое окно Run Configuration
    Диалоговое окно Run Configuration
     
  6. Проверьте, что приложение UICatalog запущено в имитаторе и шаги теста выполняются.

 

Чтение протоколов

  1. Проверьте, что статистический отчет и обычный протокол испытаний открываются в Rational Test Workbench.
  2. Убедитесь, что статистический отчет содержит три вкладки. Третья вкладка – Resources. Графики на этой вкладке статистического отчета соответствуют счетчикам мониторинга ресурсов на шкале времени, как показано на рисунке 18.
Рисунок 18. Вкладка мониторинга ресурсов в отчете по тестированию мобильного приложения
Вкладка мониторинга ресурсов в отчете по тестированию мобильного приложения
Вкладка мониторинга ресурсов в отчете по тестированию мобильного приложения

Настройка IBM Rational Quality Manager

Чтобы настроить IBM Rational Quality Manager, необходимо сначала настроить Quality Manager Adapter в окне Workbench.

  1. Откройте страницу свойств IBM Rational Test Workbench Eclipse Client. Перейдите на страницу свойств. Укажите соответствующие значения в полях, чтобы разрешить Workbench устанавливать соединение с Quality Manager Server.
    Рисунок 19. Диалоговое окно Rational Test Workbench Preferences
    Диалоговое окно Rational Test Workbench Preferences
    Диалоговое окно Rational Test Workbench Preferences
     
  2. Откройте окно Quality Manager Adapter, как показано на рисунке 20.
  3. Нажмите кнопку Connect. Убедитесь, что статус изменился на connected.
    Рисунок 20. Окно Quality Manager Adapter
    Окно Quality Manager Adapter
    Окно Quality Manager Adapter
     

Найдите веб-клиент IBM Rational Quality Manager

  • Откройте веб-браузер и найдите веб клиент IBM Rational Quality Manager.
  • Введите свои учетные данные пользователя.

Создайте контрольный пример

  1. Нажмите кнопку Construction в главном меню веб-консоли Rational Quality Manager.
  2. Нажмите кнопку Test Case в разделе Create, как показано на рисунке 21.
    Рисунок 21. Создание контрольного примера в Rational Quality Manager
    Создание контрольного примера в Rational Quality Manager
    Создание контрольного примера в Rational Quality Manager
     
  3. Укажите имя и выберите соответствующие значения на странице Test Case, затем нажмите кнопку Save.
    Рисунок 22. Страница создания контрольного примера
    Страница создания контрольного примера
    Страница создания контрольного примера
     

 

Чтобы создать скрипт теста:

  1. В меню Construction нажмите кнопку Test Script, расположенную под разделом Create, как показано на рисунке 23.
    Рисунок 23. Создание скрипта теста
    Меню Test Script
    Меню Test Script
     
  2. Заполните текстовые поля на странице Script.
  3. В поле type укажите значение Rational Test Workbench.
  4. В разделе Rational Test Workbench script выберите Use test resources that are local to a test machine.
  5. Нажмите кнопку Select Adapter.
    Рисунок 24. Страница Test Script creation
    Страница Test Script creation
    Страница Test Script creation
     
  6. На странице Step 1 выберите соответствующий локальный компьютер. Убедитесь, что в столбце Health отображается зеленый значок.
  7. Нажмите кнопку Next.
  8. На странице Step 2 введите полный путь проекта.
  9. Нажмите кнопку Go. Будут перечислены все сценарии тестирования, хранящиеся в этом проекте, с возможностью поиска.
    Примечание. Чтобы во время выполнения скрипта предпочтение отдавалось локальному компьютеру, установите флажок под текстовым полем Project Path. Выберите соответствующий сценарий тестирования.
  10. Нажмите кнопку Finish.
    Рисунок 25. Страница Import Test Script
    Страница Import Test Script
    Страница Import Test Script
     
  11. Сохраните скрипт теста.

 

Затем необходимо добавить скрипт теста в контрольный пример.

  1. Выберите из меню Construction > Browse > Test Cases, чтобы найти созданный ранее контрольный пример.
  2. В окне Test Scripts нажмите кнопку + на панели инструментов, чтобы выполнить операцию Add Test Scripts, как показано на рисунке 26.
    Рисунок 26. Страница Test Case
    Страница Test Case
    Страница Test Case
     
  3. В открывшемся диалоговом окне найдите и выберите созданный скрипт теста.
  4. Сохраните его.

 

Добавление переменных исполнения

Теперь нужно добавить переменные среды исполнения, которые передаются во время выполнения теста. Требуется определить три важные переменные.

  • RTW_Mobile_Selected_Device – уникальный идентификатор подключенного оконечного устройства или имитатора;
  • rm.collect – логический флаг включения (значение true) или отключения (значение false) сбора данных счетчика мониторинга ресурсов во время тестирования;
  • rm.collect.interval – целое значение интервала (в миллисекундах) для сбора данных счетчика мониторинга ресурсов. Это любое значение между 1000 и 5000. Если оно не указано, берется значение переменной по умолчанию 5000.

 

Чтобы добавить переменные исполнения:

  1. На странице Test Cases щелкните на ссылке Manage Sections, чтобы открыть окно Manage Sections.
    Рисунок 27. Диалоговое окно Manage Sections
    Диалоговое окно Manage Sections
    Диалоговое окно Manage Sections
     
  2. В Rational Test Workbench вызовите список подключенных устройств, нажав кнопку Display available mobile devices на панели инструментов.
  3. Выберите имитатор, чтобы запустить тест.
  4. В разделе Device property скопируйте значение поля id.
  5. Нажмите на знак x в разделе Execution Variable.
  6. В открывшемся диалоговом окне наберите RTW_Mobile_Selected_Device в поле Name.
  7. Вставьте скопированное значение идентификатора устройства в поле Value.
    Рисунок 28. Диалоговое окно Create Execution Variable
    Диалоговое окно Create Execution Variable
    Диалоговое окно Create Execution Variable
     
  8. Повторите шаги 6-8 для создания другой переменной исполнения.
  9. Назовите эту переменную rm.collect и присвойте ей значение true.
    Примечание. При желании можно также создать третью переменную rm.collect.interval, присвоив ей допустимое значение в интервале от 1000 до 5000.
  10. Сохраните контрольный пример.

Выполнение теста на имитаторе iOS из Rational Quality Manager

Чтобы создать запись Test Case Execution Record:

  1. В списке разделов на странице контрольного примера в Rational Quality Manager нажмите кнопку Test Case Execution Records.
  2. Нажмите кнопку Generate new Test Case Execution Record.
  3. Задайте значения, следуя инструкциям в открывшемся диалоговом окне.
    Рисунок 29. Страница Test Case Execution Records
    Страница Test Case Execution Records
    Страница Test Case Execution Records
     
  4. Сохраните контрольный пример.

 

Теперь нужно выполнить запись Test Execution Record.

  1. Выберите новую запись Test Case Execution Record и нажмите кнопку Run Test > Run with options, как показано на рисунке 30.
    Рисунок 30. Запуск теста на странице Test Case Execution Records.
    Запуск теста на странице Test Case Execution Records.
    Запуск теста на странице Test Case Execution Records.
     
  2. Убедитесь, что в открывшемся диалоговом окне состояние машины отображается зеленым цветом, как показано на рисунке 31.
    Рисунок 31. Диалоговое окно Run with Options
    Зеленый кружок рядом с именем компьютера
    Зеленый кружок рядом с именем компьютера
     
  3. Нажмите кнопку Finish.
    Примечание.
    Если нужно изменить значения переменных исполнения, сначала нажмите кнопку Next.
  4. Можно проверить, что выполнение теста автоматически запустилось на целевом имитаторе, как показано на рисунке 32.
  5. В Rational Test Workbench проверьте, что протоколы испытаний доступны для просмотра и обновляются автоматически.
    Рисунок 32. Протокол выполнения мобильного приложения в Rational Test Workbench
    Протокол выполнения мобильного приложения в Rational Test Workbench
    Протокол выполнения мобильного приложения в Rational Test Workbench
     
  6. На веб-консоли Rational Quality Manager проверьте, что на активной странице Test Case Execution Record статус регулярно обновляется, как показано на рисунке 33.
    Рисунок 33. Страница Test Case Execution Record
    Страница Test Case Execution Record
    Страница Test Case Execution Record
     
  7. По завершении выполнения теста в строке состояния отображается «100%» и кнопка Show Results становится активной.
  8. Нажмите кнопку Show Results. Откроется страница со ссылками на различные протоколы испытаний.
    Рисунок 34. Страница Results Details
    Страница Results Details
    Страница Results Details
     
  9. Нажмите на ссылку, которая начинается с Mobile and Web UI Statistical Report, чтобы просмотреть графики счетчиков мониторинга ресурсов.
  10. Откроется новая страница. Нажмите на ссылку Resources на этой новой странице.
    Примечание.
    Результаты выполнения теста, хранящиеся в Rational Test Workbench, можно также просмотреть в узле RQM_Results представления Test Navigator, как показано на рисунке 35.
    Рисунок 35. Представление Test Navigator с узлом RQM_Results
    Представление Test Navigator с узлом RQM_Results
    Представление Test Navigator с узлом RQM_Results
     

Заключение

В этой статье показано:

  • как настроить клиент IBM Rational Test Workbench Eclipse для тестирования нативного iOS-приложения;
  • установить инструментированное приложение на имитатор IOS;
  • записывать и запускать сценарии тестирования с имитатора и Rational Test Workbench;
  • подключить Rational Test Workbench для Rational Quality Manager через Rational Quality Manager Adapter;
  • связать сценарий тестирования со скриптом теста в Rational Quality Manager;
  • связать тот же скрипт теста с контрольным примером;
  • настроить переменные запуска для указания аргументов времени выполнения;
  • создать и выполнить запись исполнения контрольного примера с веб-консоли Rational Quality Manager, что фактически вызывает выполнение связанного сценария теста на целевом имитаторе через Test Workbench.

Если вы хотите поэкспериментировать с использованием приобретенных знаний, создайте несколько сценариев тестирования и свяжите их с разными скриптами тестов, а затем запустите их все вместе в рамках одного и того же контрольного примера. Можно также включать и выключать мониторинг ресурсов, если вы изменяете переменные исполнения в процессе тестирования.


Ресурсы для скачивания


Похожие темы


Комментарии

Войдите или зарегистрируйтесь для того чтобы оставлять комментарии или подписаться на них.

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=40
Zone=Rational
ArticleID=1016977
ArticleTitle=Измерение производительности мобильных приложений в IBM Rational Test Workbench с помощью IBM Rational Quality Manager
publish-date=10072015