Содержание


Оптимизация тестирования программного обеспечения в ручном режиме

Rational Manual Tester позволяет исключить ручные операции из процесса тестирования

Серия контента:

Этот контент является частью # из серии # статей: Оптимизация тестирования программного обеспечения в ручном режиме

Следите за выходом новых статей этой серии.

Этот контент является частью серии:Оптимизация тестирования программного обеспечения в ручном режиме

Следите за выходом новых статей этой серии.

Раздел 1. Введение

О данном учебном руководстве

Полностью настроенные системы автоматизации тестирования имеются далеко не во всех компаниях. В некоторых организациях ручное тестирование в основном выполняется аналитиками и предметными экспертами, не являющимися экспертами в области автоматизации тестирования. В других случаях тестируемое приложение не имеет интерфейса, необходимого для использования автоматизированных средств. В результате ручное тестирование остается важной частью процесса тестирования.

Полностью настроенные системы автоматизации тестирования имеются далеко не во всех компаниях. В некоторых организациях ручное тестирование в основном выполняется аналитиками и предметными экспертами, не являющимися экспертами в области автоматизации тестирования. В других случаях тестируемое приложение не имеет интерфейса, необходимого для использования автоматизированных средств. В результате ручное тестирование остается важной частью процесса тестирования.

Хотя на первый взгляд ручное тестирование – довольно простая операция, при неправильном применении она может привести к проблемам. Группы проектирования быстро выясняют, насколько сложно работать с многочисленными электронными таблицами и другими средствами тестирования и хранения результатов. Они отмечают большой объем повторной работы, связанный со многими используемыми сценариями тестирования, что обусловлено недостатком повторного использования и модульностью. И постоянно приходится следить за тем, чтобы свести к минимуму ошибки персонала и противоречивость результатов. Эти факторы сказываются на конечной цели ручного тестирования - на качестве оценки приложений и выявлении ошибок.

В данном учебном руководстве описано, как можно использовать IBM® Rational® Manual Tester для выполнения следующих задач:

  • Ясного и краткого документирования процесса выполнения ручного тестирования;
  • Возможности общего использования содержимого тестирования в нескольких тестах;
  • Помощи проводящим тестирование в выполнении обычных операций, подверженных ошибкам - ввод и проверка данных;
  • Точного выполнения и записи результатов ручного тестирования.

Для кого предназначено данное руководство?

Программа IBM Rational Manual Tester предназначена для групп, выполняющих хотя бы часть процесса тестирования вручную. Программа обеспечивает оптимальное тестирование и обнаружение ошибок в процессах, потенциально связанных с высокими затратами и низкой отдачей. Данное учебное руководство предназначено для всех желающих повысить точность и скорость создания тестов, выполнения и сопровождения процессов ручного тестирования ПО.

Необходимые условия

Для выполнения операций и примеров данного руководства необходимо установить пакет IBM Rational Manual Tester. Загрузите пробную версию программы.

После загрузки установите программу, используя параметры по умолчанию. Пакет Rational Manual Tester включает приложение-пример, которое используется с данным руководством.

Также необходимо загрузить файл RationalMT_Tutorial.zip, представляющий собой набор ручных тестов, созданных для работы с данным руководством. Загрузите прилагаемый Zip-файл и разархивируйте его в любую папку на жестком диске компьютера. Не изменяйте названия папок.

Раздел 2. Начало работы

Обзор

Пакет IBM Rational Manual Tester является средством, разработанным для тех, кто хотя бы частично использует ручное тестирование программного обеспечения. Простота использования пакета делает его особенно ценным для бизнес-аналитиков и нетехнических специалистов по тестированию. Пакет IBM Rational Manual Tester не зависит от среды разработки, используемой для создания тестируемого приложения, поэтому с его помощью можно тестировать любой тип программного обеспечения: приложения Java®, Web-приложения, унаследованные приложения, «толстые» клиенты, ERP/CRM приложения и т.п. Пакет также можно использовать для документирования и выполнения тестирования аппаратных компонентов, периферийных устройств или непрограммных систем.

Rational Manual Tester является решением для подробного документирования ручного тестирования, оптимизации обслуживания тестирования, обеспечения точного выполнения тестирования, а также сбора и хранения результатов тестирования.

Запуск Rational Manual Tester

  1. Выберите Start > Programs > IBM Rational > IBM Rational Manual Tester 6.1 > IBM Rational Manual Tester. При первом запуске пакета открывается диалоговое окно Welcome. Если Rational Manual Tester уже открыт, можно перейти к шагу 3;
    1
    1
  2. Для перехода в окно Manual Test нажмите изогнутую стрелку в верхнем правом углу;
    2
  3. Открывает основное окно Rational Manual Tester;
    3
    3
  4. В Manual Tester выберите в меню Help > IBM Rational Product Updater. Нажмите кнопку Find Updates для поиска доступных обновлений, затем для установки найденных обновлений нажмите кнопку Install Updates. После установки доступных обновлений можно продолжить работу.

Пользовательский интерфейс

В окне Rational Manual Tester имеется пять основных вкладок.

  1. В центре находится вкладка Editor. Редактор используется для документирования ручного тестирования. По умолчанию в редакторе открывается файл с именем "untitled.rmt";
  2. Слева расположена вкладка Outline. В ней отображается краткое описание каждого шага, документируемого в редакторе. Вкладка Outline также используется для связывания (или совместного использования) содержимого тестов;
  3. Рядом с вкладкой Outline находится вкладка Recent Files. На этой вкладке отображаются рабочие файлы, что позволяет легко открывать последний использованный тест или его результаты;
  4. Вверху справа расположена вкладка Reuse. На эту вкладку можно поместить многократно используемое содержимое тестов, которое используется в нескольких тестах. Благодаря этому обеспечивается быстрый доступ к такому содержимому;
  5. Внизу справа расположена вкладка Properties. На ней содержится дополнительная информация о тестировании, отображаемая в редакторе.

Раздел 3. Создание ручного тестирования

Типы операторов тестирования

Ручные тесты могут содержать четыре типа операторов. Каждый тип операторов отмечен значком, расположенным перед оператором в редакторе тестов.

  1. Шагшаг -- Шаг - оператор, выдающий тестировщику инструкции на выполнение какого-либо действия. «Запустить приложение» или «Нажать кнопку New» - примеры обычных инструкций в шаге тестирования;
  2. Точка проверки6 -- Точка проверки - оператор, выдающий инструкции пользователю проверить определенное поведение тестируемого приложения. Примеры типичных операторов точки проверки: «Убедитесь, что кнопка Login появляется в верхнем правом углу» или «Приложение возвращает дату в формате мм/дд/гг?». При выполнении теста, содержащего точки проверки, необходимо вводить результаты для каждой точки проверки;
  3. Точка отчета7 -- Точка отчета представляет собой точку проверки высокого уровня. Она часто используется для высокоуровневого или сводного запроса об успешном или неуспешном выполнении всего теста;
  4. Группашаг -- Группа указывает на блок связанных операторов. Например, может существовать группа с именем Login. В этой группе могут быть указаны шаги для запуска приложения и регистрации.

Ускорение запуска процесса создания теста

Существует несколько способов ускорить использование Rational Manual Tester. Если уже имеются проводимые вручную тесты, документированные в Microsoft Word или Excel, их можно импортировать в Rational Manual Tester в помощью команды меню File > Import.

Если документации к существующим тестам нет, можно документировать тестирование в Editor. Пакет Rational Manual Tester имеет многофункциональный текстовый редактор, позволяющий подробно документировать процесс ручного тестирования.

Настройка местоположения файлов повторного использования

Перед тем как продолжить, задайте для опции Reuse file местоположение и запустите приложение-пример, используемое в данном руководстве.

  1. Выберите Window > Preferences;
  2. Нажмите кнопку Browse и задайте в качестве местоположения Reuse File папку, в которую разархивированы тесты. Следует указать имя папки RationalMT_Tutorial;
  3. Нажмите кнопку Apply;
  4. Нажмите кнопку OK;
  5. Для запуска приложения-примера выберите Start > Programs > IBM Rational > IBM Rational Manual Tester 6.1 > ClassicsJavaA. Запускается приложение-пример с названием ClassicsCD, для которого будет создан тест для проверки обработки заказов компакт-дисков.

Многофункциональное редактирование текста

Один из простейших способов изучить многофункциональное редактирование заключается в просмотре ручного тестирования, в котором используются преимущества такого редактирования.

Многофункциональное редактирование позволяет создавать надежные, подробные и понятные тесты. Ясная и краткая документация обеспечивает точность выполнения тестирования.

  1. Нажмите Recent Files в диалоговом окне Rational Manual Tester, затем дважды нажмите тест Place_Order.rmt. Тест открывается в редакторе (см. рисунок ниже);
    4
    4
    В данном тесте видно, что автор использовал различные шрифты и цвета для привлечения внимания к важным ключевым словам или выбору опций, которые необходимо выполнить во время тестирования. Автор также использовал встроенные изображения, позволяющие тестировщику просмотреть контекст во время выполнения шагов теста. Добавить к тесту изображения можно с помощью встроенной функции захвата изображений.
  2. Для вставки изображения установите курсор в конце первого оператора и нажмите <CTRL><ENTER>;
  3. Выберите меню Edit > Insert Image;
  4. Выберите Region и нажмите OK;
  5. Нарисуйте рамку вокруг окна приложения ClassicsCD. Изображение вставляется в код теста.
  6. Уменьшите размер изображения. Тест должен выглядеть примерно так, как показано на рисунке ниже.
    5
    5
  7. Во втором операторе выделите слово Haydn и нажмите кнопку Bold 23 на панели инструментов Rational Manual Tester.
  8. Нажмите кнопку Font color 22 на панели инструментов Rational Manual Tester и выберите цвет, отличный от черного.

Шрифты можно использовать для выделения текста, который тестировщик должен вводить при выполнении тестирования, кнопок или списков выбора в тестируемом приложении, или для привлечения внимания к действию.

Использование точек проверки

Точки проверки играют важную роль в ручном тестировании. Они сообщают тестировщику, что необходимо проверить определенное поведение тестируемого приложения. Во время проведения теста необходимо реагировать на точки проверки (успешно, неуспешно, незавершенно и т.д.), вводить дополнительные комментарии и, в случае необходимости, прикреплять файлы. Результаты точек проверки хранятся в журнале тестирования.

Точки проверки отмечены значком 6 . В зависимости от области применения в тестировании может быть ноль, одна или несколько точек проверки. Как правило, предложения точек проверки начинаются с такого текста, как "check that..." или "verify that..." или они содержат вопрос к тестировщику.

  1. Найдите в редакторе тестирований следующее предложение: Verify that the Place an Order dialog appears;
  2. Выделите это предложение и нажмите кнопку 6 на панели инструментов. Значок рядом с предложением изменяется на значок точки проверки;
  3. Найдите следующие три предложения и задайте их в качестве точек проверки:
    Highlight the item Symphonies No. 99 & 101 as shown below, press <CTRL> C to copy to the clipboard, then press the toolbar button labeled "Compare copied text to expected text".

    Verify that the window shows the order amount plus shipping and handling as shown below.

    Does the application display an order number similar to the one below? (Note that the order number will be different each time you run the test.)

Использование точек отчетов

Точки отчетов также являются важными элементами ручного тестирования. Как и точки проверки, они сообщают тестировщику об ответе на вопрос или о создании результирующего отчета. Но обычно точки отчета используются для более высокоуровневых вопросов относительно успешного или неуспешного выполнения теста. Например, в тесте может иметься несколько точек проверки с вопросами о дискретном изменении в тестируемом приложении. В конце теста, как правило, имеется точка отчета, запрашивающая об успешности или не успешности всего тестового или бизнес-сценария. Во время анализа результатов тестирования можно выбрать создание отчета по точкам проверки для представления подробных результатов анализа, по точками отчета для состояния тестирования более высокого уровня, или по обоим типам точек.

Предложения с точками отчета отмечаются значком 7 . В тесте может быть ноль, одна или несколько точек отчета.

  1. Перейдите в конец теста;
  2. Установите курсор в конце последнего предложения и нажмите Enter;
  3. Введите предложение: Did the order complete successfully?
  4. С курсором на данной строке нажмите кнопку 7 на панели инструментов. Значок рядом с этим предложением изменяется на значок точки отчета;
  5. Сохраните изменения, выбрав меню File > Save.

Теперь создан тест, содержащий предложения с инструкциями для тестировщика, вставленными изображениями, с 4 точками проверки для проверки поведения приложения и точкой отчета для определения успешности или неуспешности выполнения всего тестирования.

Раздел 4. Сокращение ошибок ручного тестирования

Автоматический ввод данных

Одна из самых распространенных проблем, связанных с ручным тестированием, - это ошибки оператора. Особенно часто ошибки оператора происходят в приложениях, требующих ввода значительного объема данных. Пакет Rational Manual Tester позволяет сократить количество ошибок ввода данных, обеспечивая автоматизированный ввод данных во время проведения тестирования. При создании теста данные, которые требуется вводить при его выполнении, хранятся в инструкциях теста. Во время создания теста мастер извлекает данные, которые требуется вводить, непосредственно из тестируемого приложения. Альтернативно данные можно ввести непосредственно в свойства шага тестирования. При выполнении тестирования вместо ручного ввода данные в тестируемое приложение можно вставить из окна выполнения ручного тестирования. Преимущество использования автоматизированного ввода данных заключается в повышенной точности и скорости выполнения тестирования.

Для освоения функции автоматизированного ввода данных выполните следующие шаги:

  1. В списке Composers приложения ClassicsCD разверните папку Haydn;
  2. Выберите Symphonies Nos. 99 & 101, затем нажмите кнопку Place Order;
  3. В окне Login нажмите OK;
  4. Установите курсор в поле Credit Card и введите номер 1234 5678 1234 5678;
  5. Переключитесь обратно в окно Manual Test.
    Теперь нужно получить данные из приложения и разместить их в шаге ручного тестирования, в котором указывается на ввод номера кредитной карты;
  6. В редакторе теста установите курсор на шаге тестирования: Place the cursor in the credit card number line and use <CTRL> V to paste in the test card number;
  7. Выберите в меню Manual Tester Capture > Data for Insert;
  8. Открывается диалоговое окно с инструкциями;
  9. Нажмите <ATL> <TAB> и переключитесь в диалоговое окно switch to the Place an Order в приложении ClassicsCD;
  10. Выделите введенный ранее номер кредитной карты и нажмите <CTRL> C для копирования текста в буфер обмена;
  11. Нажмите <ALT> <TAB> для переключения в окно инструкций Manual Tester и нажмите кнопку OK. Текст вставляется в свойство Paste Data тестирования. При выполнении этого тестирования можно установить курсор в поле кредитной карты и нажать <CTRL> V для автоматической вставки номера кредитной карты. При отсутствии опыта работы с общими методами автоматизации тестирования использование в ручном тестировании автоматизированного ввода данных представляет концепцию инструментального ввода данных, которая широко используется в средствах автоматизации. Если в будущем планируется использовать автоматизированное тестирование, представление об этой концепции упростит переход к автоматизации тестирования.

Автоматизированное сравнение данных

Проверка точности данных, выводимых из тестируемого приложения, представляет собой другую задачу, чреватую возникновением ошибок при ручном тестировании приложений. Пакет Rational Manual Tester имеет встроенный блок сравнения данных, в котором ожидаемые выходные данные сравниваются с фактическими данными, выводимыми из тестируемого приложения. Как и в случае с функцией автоматизированного ввода данных, ожидаемые выходные данные хранятся в ручном тесте. Данная функция позволяет ускорить процесс выполнения тестирования и гарантировать точность проверки данных. В описанных ниже шагах показано, как при выполнении тестирования получить текст, который будет использоваться в автоматизированном сравнении данных. На этот раз для получения данных вместо использования мастера вставьте данные непосредственно в свойство Verification Point. Для получения данных можно использовать любой метод.

  1. Переключитесь в окно Place an Order в приложении ClassicsCD и выделите текст Symphonies No. 99 & 101 (см. рисунок ниже);
    14
    14
  2. Нажмите <CTRL> C для копирования данных в буфер обмена;
  3. Переключитесь в Rational Manual Tester и установите курсор в ручном тестировании на предложении с точкой проверки: Highlight the item Symphonies No. 99 & 101 as shown below and press <CTRL> C to verify that the correct selection is displaying;
  4. В правом нижнем углу окна на вкладке Properties имеется свойство с именем Compare Data. Установите курсор в поле Value рядом с этим свойством и нажмите <CTRL> V для вставки ожидаемых данных;
  5. Изменим немного эти ожидаемые данные, чтобы показать, как Rational Manual Tester определяет различия при выполнении тестирования. Измените скопированные данные так, чтобы они немного отличались от текста, отображаемого в тестируемом приложении. Измените один из номеров симфоний, например, 99 на 94;
    Готово! Теперь вместе с ручным тестом записано ожидаемое содержимое этого поля.
    При выполнении этого фрагмента выделите текст из тестируемого приложения. Нажмите <CTRL> C, программа Rational Manual Tester автоматически сравнивает две текстовых строки.
  6. Сохраните изменения.

Раздел 5. Повторное использование содержимого теста

Принципы повторного использования и модульного построения

В тестировании концепции модульности и повторного использования играют важную роль, позволяя получить все преимущества автоматизации тестирования. Долгое время средства автоматизированного тестирования способствовали созданию небольших модулей тестирования, относящихся к отдельному сценарию использования или функции. Причина такого подхода двойственна. Во-первых, проще проводить поддержку тестирования. Например, если тестируемое приложение изменилось, следовательно, необходимо изменить документацию или сценарий тестирования. В таком случае модульное тестирование позволяет сократить количество тестов, которые требуется обновить. Средства автоматизированного тестирования предоставляют механизмы для вызова одного теста из другого и тем самым способствуют концепции повторного использования. Создание модульных тестов, документирующих общие выполняемые задачи, и их повторное выполнение обеспечивает согласованность и точность при сопровождении тестирования.

При применении этих же самых принципов к ручному тестированию, степень их успешности изменяется. В большинстве случаев проблема обусловлена тем фактом, что традиционно средства, используемые для документирования ручного тестирования, например, Microsoft Word и Excel, не позволяют выполнить реализацию модулей тестирования или концепцию повторного использования. Таким образом, документирование ручного тестирования часто приводит к продолжительным, сложным в сопровождении тестам, многие из которых могут содержать одинаковые данные для часто выполняемых в приложении действий. Если тесты требуется обновить, группа тестирования должна выполнить поиск во всей документации тестирования, вырезая и вставляя обновления.

Пакет Rational Manual Tester облегчает разработку модульных тестов и их повторное использование и предоставляет простую среду для совместного использования содержимого тестов. Содержимое тестов можно использовать при проведении нескольких тестирований, его также могут использовать различные тестировщики. Благодаря повторному использованию содержимого, группы тестирования могут создавать небольшие модульные тесты. Это позволяет не беспокоиться об обновлении многочисленных сценариев теста при изменении тестируемых приложений. Как правило, используемое содержимое теста можно поместить в палитру Reuse и сделать его доступным для различных тестов, создаваемых различными группами. Работаете ли вы отдельно, в составе небольшой группы или в составе группы тестирования предприятия, данная функция позволяет создавать простые в сопровождении тесты.

Повторное использование содержимого теста

  1. Перейдите на вкладку Recent Files. Во вкладке отображаются два уже созданных теста;
    13 Каждый из этих тестов относится к определенному сценарию использования приложения. Как уже говорилось ранее, лучше всего создавать тесты небольшими, модульными и узконаправленными.
    Схема данного приложения приводит к тому, что некоторые шаги повторяются в нескольких тестах. Например, при каждом размещении заказа выдается запрос на ввод пароля. Благодаря такой схеме будет проще, если шаги по регистрации будут встроены в любой тест, связанный с размещением заказа. Однако дублирование этих шагов в нескольких тестах может привести к значительным проблемам в сопровождении при изменении шагов регистрации.
    Более удачное решение - повторное использовании общих инструкций тестирования. Выполните указанные далее шаги и оцените, как Rational Manual Tester может улучшить сопровождение тестов и обеспечить совместимость благодаря повторно используемому содержимому:
  2. Нажмите два раза на тест Login, чтобы открыть его;
    8
    8
  3. Содержимое, организованное в группу, можно разместить на палитре Reuse, чтобы сделать его доступным для повторного использования в других тестах. Можно повторно использовать отдельные предложения или группы предложений;
  4. Перейдите на вкладку Outline и просмотрите содержание шагов тестирования;
    9
  5. Выделите группу Login на вкладке Outline и перетащите ее на значок Reusable Statements, расположенный на вкладке Reuse с правой стороны окна приложения. Вкладка Reuse должна выглядеть примерно так, как показано на рисунке ниже.
    10 Содержимое вкладки Reuse можно связать с любым другим тестом. Связанное содержимое не дублируется, а используется совместно. Изменения в связанном содержимом отражаются в каждом тестировании, в котором это содержимое используется. Больше не требуется искать в нескольких документах повторяющиеся фрагменты общих инструкций тестирования;
  6. Перейдите в редакторе на вкладку Place_Order. Повторно используйте шаги Login в тестировании Place_Order;
  7. Перейдите на вкладку Outline и просмотрите краткое описание тестирования Place_Order;
  8. Перетащите папку Login из палитры Reusable Statements на вкладку Outline. Перетаскивайте папку непосредственно под предложение Click the Place Order button. Содержимое вкладки Outline должно выглядеть так, как показано ниже.
    11 Теперь шаги по регистрации используются в тестировании Place_Order. Если посмотреть на тестирование в редакторе, шаги Login выделены светло-серым фоном, на значках слева от каждого повторно используемого шага находится маленькая стрелка. Это обозначение связанного содержимого. При изменении шагов по регистрации в приложении все тесты, в которых эти шаги используются, автоматически обновляются при обновлении тестирования Login. Если впоследствии потребуется сделать предложения локальными (разорвать связь), нажмите правую кнопку мыши на выделенном предложении или папке и выберите Edit > Make Statement Local.

Раздел 6. Выполнение ручного тестирования

Запуск теста

При готовности к тестированию приложения, пакет Rational Manual Tester открывает окно выполнения с запросами по каждому шагу тестирования. При выполнении каждого шага можно ввести комментарий, прикрепить файлы (например, снимки экрана) и ввести результаты для каждой точки проверки или отчета. После завершения тестирования результаты хранятся в журнале. Продолжим изучение процедуры выполнения тестирования.

Окно выполнения

  1. Выберите File > Save для сохранения изменений в тестировании Place_Order;
  2. Закройте приложение ClassicsCD;
  3. В меню Rational Manual Tester выберите Run > Run script. Открывается следующее диалоговое окно.
    16
    16
    В левом стороне окна содержатся предложения теста. Окно выполнения обладает прозрачностью, что позволяет просматривать окно приложения под окном выполнения. Таким образом можно одновременно просматривать тестируемое приложение и инструкции тестирования. Можно отключить функцию прозрачности или задать любой требуемый уровень прозрачности. Можно также изменить размер окна, чтобы было удобней просматривать полный список шагов. Справа от каждого предложения находится группа Result. Кнопка Apply используется для отметки выполненного шага или ввода результата для точки проверки или отчета. С правой стороны окна выполнения находится панель Properties. Панель Properties используется для добавления информации, например, комментария или прикрепления файла, связанного с подробным описанием поведения тестируемого приложения.

Выполнение тестирования

  1. Запустите приложение ClassicsJavaA, затем нажмите Apply;
  2. Разместите окно приложения ClassicsCD в верхней части экрана, а окно выполнения Manual Test - в нижней, чтобы оба приложения были видны одновременно;
  3. Разверните папку Haydn (см. инструкции в шаге 2). Затем нажмите еще раз Apply;
  4. Выберите Symphonies Nos 99 & 101 и нажмите кнопку Place Order. Нажмите кнопку Apply рядом с каждым из этих шагов;
    Теперь можно регистрироваться в приложении.
  5. Выполните шаги в группе Login, после завершения каждого из четырех шагов нажмите Apply. Окно выполнения тестирования должно выглядеть примерно так, как показано на следующем рисунке;
    17
    17
  6. Следующее предложение содержит точку проверки с вопросом об отображении диалогового окна Place an Order. Предположим, что это окно открыто, в раскрывающемся списке Result выберите pass, затем нажмите Apply;
    18
  7. В следующей точке проверки для проверки правильности отображения текста в заголовке поля Item в диалоговом окне Place an Order используется автоматическое сравнение данных. Выполните приведенные в тесте инструкции, выделите данные в приложении, скопируйте их в буфер обмена и нажмите кнопку 30 на панели инструментов для автоматического сравнения ожидаемого текста с фактическим текстом в приложении.
    На показанном ниже компараторе выделены различия в тексте. Различия зависят от правок, сделанных в тексте до его копирования на вкладку Properties;
    19
    19
  8. Нажмите OK для закрытия окна компаратора;
  9. В раскрывающемся списке Result выберите Fail, затем нажмите Apply;
  10. В следующем шаге для ввода номера кредитной карты используется функция автоматической вставки данных. Выполните инструкции теста для автоматической вставки номера кредитной карты, затем нажмите Apply;
  11. Введите в соответствии с инструкциями дату истечения срока действия кредитной карты и нажмите Apply;
  12. В следующей точке проверки убедитесь, что правильно отображается общая сумма, затем в раскрывающемся списке Results выберите pass и нажмите Apply;
  13. Выполните оставшиеся шаги и операции в точках проверки, после завершения каждого шага или операции нажимайте Apply;
  14. Последнее предложение содержит точку отчета с запросом об успешности выполнения заказа. В этом шаге выдается запрос на ввод общего результата выполнения теста. Результаты в точках отчета часто используются для управления отчетами о сводном статусе теста. (В данном руководстве можно выбрать только Pass или Fail);
  15. При запросе на сохранение результатов выберите Yes, оставьте предлагаемое имя по умолчанию, выберите папку RationalMT_Tutorial, затем нажмите Save;
  16. После выполнения теста в первый раз, возможно, потребуется выполнить его еще раз с использованием только инструкций в окне выполнения Manual Test (а не в данном руководстве). В таком случае, перед запуском теста закройте приложение ClassicsCD. Результаты первого тестирования можно перезаписать на результаты второго тестирования.

Раздел 7. Анализ результатов тестирования

Хранение результатов тестирования

После выполнения тестирования его результаты хранятся в файле выполнения. Принятым по умолчанию именем для этого файла является testscriptname.execution. Можно поместить файлы с результатами в любую папку. Доступ к этому файлу выполняется через файловую систему или с помощью вкладки Recent Files. В каждом файле выполнения хранятся результаты отдельного тестирования. Если требуется объединить результаты нескольких тестирований, экспортируйте результаты в файл .csv, а затем импортируйте этот файл в Microsoft® Excel или другое средство анализа.

Описание файла результатов

Выполните приведенные далее шаги, чтобы открыть и просмотреть файлы результатов только что выполненного тестирования.

  1. Перейдите на вкладку Recent Files;
    20
  2. Дважды нажмите файл Place_Order.execution, чтобы открыть его.
    Файл выполнения содержит вкладки Overview и Events. На вкладке имеется раздел Verdict, включающий результаты последней точки проверки или отчета. Размещение сводного вопроса в конце тестирования обеспечивает точный высокоуровневый «вердикт» по результатам тестирования. На вкладке Overview также находятся данные о времени начала и завершения тестирования;
  3. Перейдите на вкладку Events, расположенную в нижней части окна;
  4. Разверните папку Group Root (см. ниже):
    24 В папке Group перечислены все предложения тестирования. Если предложение выделить, в поле описания отображается текст предложения целиком, время выполнения этого предложения и вердикт для любых точек проверки или отчета. Это окно можно использовать для быстрой оценки отдельного теста.

Объединение и анализ результатов тестирования

После выполнения серии тестирований, возможно, потребуется объединить и проанализировать их результаты, с дальнейшим вынесением общей оценки о выполнении тестирования и готовности приложения к выпуску. Для этого можно экспортировать содержимое нескольких файлов .execution и поместить его в файл .csv с помощью меню File > Export. Экспортированные результаты затем можно импортировать в основное средство генерации отчетов о выполнении. Кроме того, пакет Rational Manual Tester можно объединить с программой IBM Rational TestManager, позволяющей использовать результаты анализа и функции создания отчетов данной программы. Лицензия для Rational TestManager включена в комплект поставки Rational Manual Tester.

Раздел 8. Заключение

Заключение

Пакет Rational Manual Tester представляет собой решения для создания, выполнения и управления ручным тестированием. Пакет Rational Manual Tester предназначен для повышения производительности ручного тестирования и позволяет группам исключить риск для успеха проекта. Благодаря этому больше внимания и времени уделяется выполнению высокоценного и информативного ручного тестирования, что позволяет более полно протестировать и более точно оценить качество приложения.

Другие возможности, которые, вероятно, потребуется изучить:

  • Настройка результатов Rational Manual Tester для обеспечения сбора результатов тестирования в соответствии со стандартами группы;
  • Настройка свойств тестов для сбора дополнительных данных во время разработки или во время выполнения тестов;
  • Изменение общего содержимого для просмотра автоматического обновления тестов с общим содержимым;
  • Использование IBM Rational ClearCase для управления версиями сценариев тестирования. (Rational ClearCase LT включен в комплект продажи Rational Manual Tester).

Ресурсы для скачивания


Похожие темы

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=40
Zone=Технология Java, SOA и web-сервисы
ArticleID=124856
ArticleTitle=Оптимизация тестирования программного обеспечения в ручном режиме: Rational Manual Tester позволяет исключить ручные операции из процесса тестирования
publish-date=01242005