Повторяемость тестирования, зависимости тестовых примеров

21.3. Упорядоченные тесты (ordered tests) в MVSTE

Замечание. Подробнее об упорядоченных тестах можно почитать по адресу http://msdn2.microsoft.com/en-us/library/ms182629.aspx

Упорядоченный тест содержит в себе другие тесты и предназначается для того, чтобы запускать их в указанном порядке. Упорядоченный тест появляется как отдельный тест в окне Test View, а результаты его выполнения появляются одной строкой в окне Test Results.

Замечание. Упорядоченный тест может содержать тесты любого типа кроме нагрузочных тестов. Ещё одной особенностью упорядоченного теста является то, что, если мы запустим его удаленно или из командной строки, будет показано предупреждение о том, что, чтобы запустить тест, все ручные тесты, которые содержатся в нем, будут временно из него удалены.

Замечание. Прежде чем Вы начнете создавать упорядоченные тесты, у Вас должны быть в наличии другие тесты, которые можно будет включить в упорядоченный тест.

Рассмотрим сначала создание упорядоченного теста.

Для начала откроем BaseCalculator, с которым мы работали на "Тестовые примеры. Классы эквивалентности. Ручное тестирование в MVSTE" и "Тестирование программного кода (покрытия)" . Он уже содержит тесты.

Добавим в тестовый проект упорядоченный тест. Для этого в меню Test выберем New Test. В появившемся диалоговом окне Add New Test выбираем Ordered Test. В поле Test Name введем название теста, например, OrderedTest.orderedtest, а в пункте Add to Test Project выберем наш тестовый проект BaseCalculator.Test. Для добавления теста в проект нажимаем OK. (рис.21.1)

Рис. 21.1. Диалоговое окно Add New Test

В Solution Explorer добавится файл OrderedTest.orderedtest и откроется окно редактирования упорядоченного теста OrderedTest.orderedtest. Мы будем использовать это окно, чтобы выбирать и включать тесты в наш упорядоченный тест (рис. 21.2).

Рис. 21.2. Окно редактирования упорядоченного теста

Рассмотрим подробнее работу с окном редактирования нашего упорядоченного теста OrderedTest.orderedtest.

В ниспадающем меню Select Test List to View можно выбрать список тестов: Lists of Tests, Tests Not in a List, All Loaded Tests или определенный тестовый список. Выберем All Loaded Tests. В Available tests отобразятся все созданные нами ранее тесты.

Чтобы добавить тесты в упорядоченный тест, нужно в Available tests выделить те тесты, которые вы хотите добавить (например, используя SHIFT+click и CTRL+click ), и нажать на стрелку вправо. Тесты добавлены в упорядоченный тест.

Замечание. Можно добавлять одни и те же тесты многократно к одному и тому же упорядоченному тесту.

Чтобы удалить тест из упорядоченного теста, нужно в Selected tests выделить те тесты, которые вы хотите удалить (например, используя SHIFT+click и CTRL+click ), и нажать на стрелку влево. Тесты удалены из упорядоченного теста.

Чтобы изменить порядок тестов в упорядоченном тесте, нужно в Selected tests выделить те тесты, порядок которых вы хотите изменить (например, используя SHIFT+click и CTRL+click ), и нажать на стрелку вверхили вниз. Порядок тестов в упорядоченном тесте будет изменен.

Рис. 21.3. Окно редактирования упорядоченного теста

Замечание. Выставленный флаг Continue after failure указывает на то, что упорядоченный тест продолжит работать независимо от того, закончатся ли один или несколько входящих в его состав тестов неудачей. Если флаг Continue after failure не будет выставлен, то упорядоченный тест прекратит свою работу при первом же возникновении неудачного теста

Упорядоченный тест готов для запуска. Следующий этап – запуск теста тестировщиком.

В окне Test View нажмем правой кнопкой мыши по созданному нами упорядоченному тесту ( OrderedTest ) и выберем Run Selection (или нажмем в окне Test View на кнопку ).

Откроется окно Test Results, в котором после выполнения упорядоченного теста отобразятся результаты его выполнения Passed или Failed (рис.21.4).

Рис. 21.4. Окно Test Results

Чтобы увидеть результаты выполнения каждого из тестов, входящих в упорядоченный тест, в окне Test Results нужно щелкнуть два раза на строке для упорядоченного теста. Эти результаты появятся в окне OrderedTest [Results]. (рис.21.5)

Рис. 21.5. Окно OrderedTest [Results]

Чтобы увидеть детальные результаты отдельных тестов, нужно щелкнуть два раза на них в окне OrderedTest [Results].

Замечание. Если бы перед запуском теста не был выставлен флаг Continue after failure, то упорядоченный тест прекратил бы свою работу при первом же возникновении неудачного теста. (рис.21.6)

Рис. 21.6. Окна OrderedTest [Results] и Test Result

Замечание. Результаты выполнения тестов можно экспортировать в отдельный файл. Для этого в окне Test Result надо выбрать Export Test Run Results и указать имя и местоположение файла.

21.4. Раздаточный материал

21.4.1. Программа

Будут выданы исходные тексты программы BaseCalculatorNew для тестирования методом "белого ящика" средствами MVSTE и пример тестового драйвера.

21.5. Домашнее задание

Написать тесты для методов работы с памятью калькулятора, используя упорядоченные тесты (ordered Tests) и расположив тесты в таком порядке, чтобы как можно реже проводить подготовку тестового окружения. Обосновать свой выбор.