Обсуждение спецификации на программу "Калькулятор". Студенты описывают выявленные в спецификации ошибки и обосновывают их. Студентам выдается правильная версия спецификации.
Непосредственно для тестирования программного обеспечения необходимо определить проверочные задания, выполняемые системой или ее отдельной частью. Такие задачи называются тестовыми примерами.
Можно выделить два подхода к созданию тестовых примеров – исходя из функциональных требований (или из любой другой документации описывающей систему) и исходя из кода. Построение тестовых примеров, исходя из кода, и построение покрытия кода мы будем изучать позднее, а сейчас рассмотрим подробнее первый случай. При тестировании функциональности программы применяется подход "черного ящика", то есть для каждого требования к системе формируются тест-требования, которые, как правило, детализируют функциональные требования так, что на одно функциональное требование может приходиться несколько тест-требований. Сами тест-требования определяют, что должно быть протестировано, но не определяют, как. Конкретные значения задаются в тестовых примерах. Таким образом, одному тест-требованию может соответствовать сразу несколько тестовых примеров.
Каждый тестовый пример состоит из набора входных значений и набора ожидаемых выходных значений. Рассмотрим спецификацию из семинара 1.
Начнем мы с тестирования отдельных составляющих программы (в данном случае – модуль математика) на допустимые данные и, в частности, на допустимые граничные данные.
Рассмотрим пример. Для этого возьмем требование 4.2.4.1.
Требование 4.2.4.1: Для чисел, меньших либо равных MAXINT и больших либо равных MININT, частное которых меньше либо равна MAXINT и больше либо равна MININT и делитель не равен 0, функция деления должна возвращать правильное частное с точки зрения математики.
Функция, которую будем тестировать:
/// <summary>
/// частное
/// </summary>
/// <param name="a">делимое</param>
/// <param name="b">делитель</param>
/// <returns>частное</returns>
public static long Div(long a, long b)
В принципе, тестирование такой функции легко автоматизируется при помощи public, т.е. к ней можно обратиться из любого класса. К тому же она является статической, что позволит вызывать ее, не создавая экземляр класса CalcClass. Однако на этом семинаре мы рассмотрим ручное тестирование.
Прежде всего по этому функциональному требованию составим тест-требования. На первый взгляд, очевидно, что вопрос для проверки звучит так: "Проверить, что для чисел, меньших либо равных MAXINT и больших либо равных MININT, частное которых меньше либо равно MAXINT и больше либо равно MININT и делитель не равен 0, функция деления возвращает правильное частное с точки зрения математики". Однако, это не совсем так. Фраза "меньших либо равных" сразу же наводит на мысль о проверке двух случаев – 1) хотя бы одно из чисел строго равно MAXINT и 2) все числа меньше, чем MAXINT.
Замечание. Стоит заметить, что сейчас мы пишем очень подробные тест-требования, которые практически сразу можно отобразить в тестовые примеры. Такая ситуация наблюдается, например, в проектах, в которых тест-требования отсутствуют, а тестовые примеры пишутся сразу на основании функциональных требований.
Тест-требования
MAXINT и больших 0, функция деления возвращает правильное частное с точки зрения математики.MAXINT и большего 0, и делителя, меньшего 0 и большего MININT, функция деления возвращает правильное частное с точки зрения математики.0 и большего чем MININT, и делителя, большего 0 и меньшего MAXINT, функция деления возвращает правильное частное с точки зрения математики.0 и больших MININT, функция деления возвращает правильное частное с точки зрения математики.0, и делителя, меньшего MAXINT и большего 0, функция деления возвращает правильное частное с точки зрения математики.0, и делителя, большего MININT и меньшего 0, функция деления возвращает правильное частное с точки зрения математики.MAXINT, и делителя, меньшего MAXINT и большего MININT, функция деления возвращает правильное частное с точки зрения математики.MININT, и делителя, меньшего MAXINT и большего MININT, функция деления возвращает правильное частное с точки зрения математики.MAXINT, и делимого, меньшего MAXINT и большего MININT, функция деления возвращает правильное частное с точки зрения математики.MININT, и делимого, меньшего MAXINT и большего MININT, функция деления возвращает правильное частное с точки зрения математики.MAXINT, и делимого, равного MININT, функция деления возвращает правильное частное с точки зрения математики.MAXINT, и делимого, равного MAXINT, функция деления возвращает правильное частное с точки зрения математики.MININT, и делимого, равного MININT, функция деления возвращает правильное частное с точки зрения математики.MININT, и делимого, равного MAXINT, функция деления возвращает правильное частное с точки зрения математики.Замечание: на самом деле, еще можно проверить, что функция корректно работает с однозначными и многозначными числами. К тому же надо убедиться, что она правильно обрабатывает все цифры в числах, а, например, не генерирует исключение, если одно из чисел содержит цифру 9, или результат ее работы не зависит от того, делится ли одно число на другое нацело или нет.
Составим тестовые примеры и запишем их в виде таблицы (табл.5.1).
| № | Входные значения: делимое, делитель | Ожидаемый результат | Номер тест-требования | Примечания |
|---|---|---|---|---|
| 1) | 43 / 21 | 2 | 1) | Самый частый случай – корректные входные данные |
| 2) | 87/-56 | -1 | 2) | -//- |
| 3) | -9/2 | -4 | 3) | -//- |
| 4) | -4321/-50 | 86 | 4) | -//- |
| 5) | 0/1234567890 | 0 | 5) | Часто ошибки проявляются при нулевых значениях переменных |
| 6) | 0/-1098765432 | 0 | 6) | -//- |
| 7) | 2147483647/95 | 22605091 | 7) и 1) | Проверка граничных условий |
| 8) | -2147483648/9 | -238609294 | 8) и 2) | -//- |
| 9) | 99/2147483647 | 0 | 9) и 1) | -//- |
| 10) | -87/-2147483648 | 0 | 10) и 4) | -//- |
| 11) | -2147483648/2147483647 | -1 | 11) | А здесь - ошибка |
| 12) | 2147483647/2147483647 | 1 | 12) | -//- |
| 13) | -2147483648/-2147483648 | 1 | 13) | Ошибка |
| 14) | 2147483647/-2147483648 | 0 | 14) | Ошибка |
Примечание. Здесь стоит так или иначе сымитировать работу функции и исследовать ее функциональность вместе со студентами.
Заметим, что, мы не можем точно сказать, где произошла ошибка, — это хорошо видно из рис.5.1.
(рис 5.1) Определение местоположения ошибки Части рисунка, помеченные вопросом – те части программы, в которых могла быть ошибка. Это сами вычисления, преобразование типов, ошибка GUI или передачи параметров (возможно, с некорректным преобразованием типов). О выявленных ошибках составляется отчет, который отдается разработчикам. При этом исправление ошибки в обязанности тестировщика не входит, так как он занимается именно тестированием, а не отладкой приложения.
В первом тесте мы ввели два числа и получили верный результат. Все остальные тесты точно такие же. Но перебрать их все не получится, так как всевозможных комбинаций – 429496736 * 429496735= 184467445805156960. Очевидно, что большинство входных значений приведут к одному и тому же результату, и нет смысла проверять их все. Если программа пройдет первый тест, то она, вероятнее всего, пройдет и остальные.
Если от двух тестовых примеров ожидается получить один и тот же результат, значит, они принадлежат одному классу. Такие множества примеров называются классами эквивалентности. Классы эквивалентности — это, в первую очередь, способ уменьшения необходимого числа тестовых примеров. При тестировании достаточно выполнить только один тестовый пример для каждого класса эквивалентности. Разбиение на классы эквивалентности особенно полезно, когда на вход системы может быть подано большое количество различных значений; тестирование каждого возможного значения привело бы к слишком большому объему тестирования.
Рассмотрим другой пример.
Требование 4.2.1.1: Для чисел, каждое из которых меньше либо равно MAXINT и больше либо равно MININT, функция суммирования должна возвращать правильную сумму с точки зрения математики.
Функция, которую будем тестировать:
/// <summary>
/// Сложение
/// </summary>
/// <param name="a">слагаемое</param>
/// <param name="b">слагаемое</param>
/// <returns>сумма</returns>
public static long Add(long a, long b)
По сравнению с предыдущим требованием у этого явно есть недостатки. Здесь ничего не говорится об ограничениях на сумму. Можно легко подобрать два таких числа, которые будут удовлетворять заявленному требованию, а их сумма будет выходить за границы int. Скорее всего, это ошибка проектирования программы. Тогда необходимо исправить спецификацию и сообщить об этом остальным участникам разработки, прежде всего ее составителю.
После исправлений функциональное требование 4.2.1.1. будет выглядеть так:
Требование 4.2.1.1: Для чисел, меньших либо равных MAXINT и больших либо равных MININT, сумма которых меньше либо равна MAXINT и больше либо равна MININT, функция суммирования должна возвращать правильную сумму с точки зрения математики.
Тестирование на допустимые данные ничем не будет отличаться от тестирования функции деления. Составим классы эквивалентности.
В простейшем случае любое из слагаемых делится на 3 класса эквивалентности: MININT, MAXINT и промежуточное значение. Если подходить более серьезно, то можно выделить 7 допустимых классов эквивалентности: MININT, MININT+1, отрицательное не граничное число, 0, положительное не граничное число, MAXINT-1, MAXINT.
Учитывая то, что у нас два идентичных входных параметра, для полного рассмотрения всех классов эквивалентности необходимо составить и проверить 7*7=49 тестовых примеров, что все равно гораздо меньше, чем полный перебор.
При этом, как показал тест с делением, ошибка может проявиться лишь в нескольких из этих примеров, которые не сильно отличаются от остальных
Некоторые классы эквивалентности не удовлетворяют требованию 4.2.1.1. так как выводят сумму за допустимые пределы. Поведение метода на таких входных данных описано в требовании 4.2.1.2.
На рис.5.2 показано возможное выделение классов эквивалентности (цветами изображены области корректных и некорректных значений, а кружками — сами классы эквивалентности):
(рис 5.2) Классы эквивалентностиИногда удобнее составить классы эквивалентности по выходному параметру (в данном случае их будет 7) и уже по ним подбирать входные данные и составлять тестовые примеры.
Основной способ поиска дефектов – передача системе данных, не предусмотренных требованиями: слишком длинных или слишком коротких строк, неверных символов, чисел за пределами вычислимого диапазона и т.п. Неверные данные, как и допустимые, также можно разделять на различные классы эквивалентности. В качестве простого примера снова рассмотрим функцию сложения.
Замечание. Как уже отмечалось выше, тест-требования составлены очень подробно и, фактически, соответствуют тестовым примерам. Поэтому поведение метода на некорректных данных описано в спецификации, хотя подобная ситуация в жизни редко встречается.
В требовании 4.2.1.2. Для чисел, сумма которых больше чем MAXINT и меньше чем MININT, а также в случае, если любое из слагаемых больше чем MAXINT или меньше чем MININT, программа должна выдавать ошибку Error 06 (см 5.2.3).
Интерфейс метода Add не позволяет нам узнать об ошибке, произошедшей во время выполнения метода. Среда .NET предоставляет мощное средство для отлавливания и обработки ошибок (и не только) во время выполнения программы – Exception (исключение). Именно с использованием исключений и будут работать методы класса CalcClass, но так как знакомство с ними произойдет позднее, то сейчас воспользуемся другим методом – создадим в классе математических функций глобальную статическую переменную типа string lastError. В нее будем записывать коды ошибок, произошедшие во время работы программы, а в сами методы вставим код, выводящий на экран сообщение об ошибке.
Замечание. Описание класса Exception и его применение можно прочитать по адресу
http://msdn.microsoft.com/library/default.asp?url=/library/en-us/cpref/html/ frlrfsystemexceptionclasstopic.asp
О перехвате и обработке исключений — по адресу http://msdn.microsoft.com/library/default.asp?url=/library/en-us/cpguide/html/ cpconexceptionhandlingfundamentals.asp
Составим тест-требования.
MAXINT, то функция должна выдать сообщение "Слишком малое или слишком большое значение числа для int. Числа должны быть в пределах от -2147483648 до 2147483647 " и записать в переменную lastError "Error 06".MININT, то функция должна выдать сообщение "Слишком малое или слишком большое значение числа для int. Числа должны быть в пределах от -2147483648 до 2147483647 " и записать в переменную lastError "Error 06".MAXINT, то функция должна выдать сообщение "Слишком малое или слишком большое значение числа для int. Числа должны быть в пределах от -2147483648 до 2147483647" и записать в переменную lastError "Error 06".MININT, то функция должна выдать сообщение "Слишком малое или слишком большое значение числа для int. Числа должны быть в пределах от -2147483648 до 2147483647 " и записать в переменную lastError "Error 06".При составлении тестовых примеров этим тест-требованиям будет соответствовать более четырех примеров, так как необходимо проверить случаи, когда одно число больше MAXINT, а другое удовлетворяет требованиям или больше MAXINT и так далее. В то же время некоторые тестовые примеры могут покрывать сразу несколько тест-требований. Так, пример "Если первое слагаемое больше MAXINT, а второе слагаемое меньше MININT, при этом сумма чисел больше MAXINT, то функция возвращает сообщение "Слишком малое или слишком большое значение числа для int. Числа должны быть в пределах от -2147483648 до 2147483647 " и записывает в переменную lastError "Error 06" проверяет сразу первое, второе и третье тест-требование.
Для недопустимых данных также можно составить классы эквивалентности, причем как по входным, так и по выходным параметрам, и по ним подобрать тестовые примеры. В нашем случае на каждую переменную можно выделить 4 класса: много меньше MININT, MININT-1, MAXINT+1, много больше MAXINT. Таким образом, надо проверить 16 тестовых примеров.
На самом деле, взглянув на любую из рассмотренных функций, в общем случае выделяют 4 основных класса эквивалентности (рис.5.3).
(рис 5.3) Структурная схема функции деленияЭто тот минимум, на котором и надо протестировать метод. Однако интуиция и опыт тестировщика подсказывают, что эти классы можно разбить на более мелкие подклассы, в которых часто возникают ошибки. Так, первый класс для функции нахождения частного мы разбили на 14 подклассов, в результате чего и обнаружили ошибку.
Помимо рассмотренных классов тестовых примеров, направленных на выявление различных дефектов в работе программной системы, выделяют также тестовые примеры реинициализации системы, повторного ввода данных, устойчивости системы и другие.
Замечание. Подробнее о
Некоторые тестовые примеры не могут быть выполнены в автоматическом режиме, слишком сложны для автоматизации их выполнения или их автоматическое выполнение потребует слишком много времени, и поэтому они требуют ручной работы тестировщика. MVSTE имеет инструмент для работы с ручными тестами.
Ручное тестирование в MVSTE представляет собой сценарий выполнения теста.
Рассмотрим процесс создания ручного теста.
Сначала создадим новый тестовый проект. Для этого зайдем в на панели Standart )
В появившемся диалоговом окне New Project выберем тип проекта Visual C#->Test-> Test Project (если язык C# не выбран по умолчанию в MVSTE, то выберите Test Project->Test Documents-> Test Project ). В поле Name зададим имя нашего проекта (например, ManualTestProject ). Нажмем ОК. (рис. 5.4)
(рис 5.4) Диалоговое окно New ProjectНовый тестовый проект создан.
Теперь посмотрим на окно Solution Explorer (рис.5.5). Созданный тестовый проект содержит три файла, связанных с тестированием:
| AuthoringTest.txt | Примечания о создании тестов, включающие инструкции по добавлению дополнительных тестов к проекту. |
|---|---|
| UnitTest1.cs | Пустая структура |
| ManualTest1.mht | Шаблон в формате Word, который заполняется инструкциями при |
(рис 5.5) Окно Solution ExplorerЗамечание. Файл UnitTest1.cs нам не понадобится для ручного тестирования, поэтому его можно удалить из проекта. Для этого в Solution Explorer щелкнем по нему правой кнопкой мыши и нажмем в появившемся контекстном меню Delete. В появившемся окошке подтверждаем удаление, нажав OK.
Замечание. Если на вашем компьютере не установлен Microsoft Office 2003, то файл ManualTest1.mht не будет создан. Для добавления в проект шаблона для ручного тестирования нужно в меню Test выбрать New Test. В появившемся диалоговом окне Add New Test выбрать Manual Test(text format). В поле Test Name нужно ввести название теста, например ManualTest1.mtx. Ни в коем случае нельзя менять разрешение этого файла. В поле Add to Test Project выберем созданный нами ранее ManualTestProject. Нажмем OK. (рис. 5.6) В наш тестовый проект будет добавлен файл с ручным тестом ManualTest1.mtx.
(рис 5.6) Диалоговое окно Add New TestТеперь убедимся, что ручной тест добавлен и готов к выполнению. В меню Test нажмем на пункт Windows и в открывшемся подменю выберем Test View. Откроется окно Test View, в котором виден тест MyManualTest (рис. 5.7).
(рис 5.7) Окно Test ViewНовый ручной тест добавлен, и теперь все готово к его редактированию. Необходимо открыть шаблон теста (например, сделав двойной клик мышкой по ManualTest1.mht ( ManualTest1.mtx ) в Solution Explorer). Далее, следуя инструкции, вводим информацию о тесте в шаблон. Шаблон включает в себя название теста ( Test Title ), описание теста ( Test Details ), функциональность, которую надо проверить ( Test Target ), действия, которые необходимо совершить для проведения теста ( Test Steps ), и описание истории изменений теста ( Revision History ). После завершения редактирования необходимо сохранить шаблон.
Следующий этап – выполнение теста тестировщиком.
В окне ).
Появится диалоговое окно, которое предупреждает о том, что тест будет выполнен, когда все ручные тесты будут пройдены. Нажимаем OK. Через некоторое время появится диалоговое окно, сообщающее нам о том, что все ручные тесты готовы к выполнению. Опять нажимаем OK.
Откроется окно Test Results, в котором наш тест будет помечен как Pending (выполняется), и окно MyManualTest[Running], начинающее выполнение теста. Следуя сценарию теста и оставляя свои комментарии в верхней части окна, тестировщик выполняет тест, после чего указывает, пройден тест или нет ( Pass/Fail ), и нажимает Apply в верхней части экрана. В окне Test Results отобразятся изменения, то есть вместо Pending будет Passed или Failed (в зависимости от того, что вы указали в окне MyManualTest[Running] после выполнения ручного теста).
, указать имя и местоположение файла.
Будут выданы .exe и .dll файлы, которые нужно протестировать (тестирование черного ящика).
Составить тест-требования и провести ручное тестирование следующих методов:
Нахождение остатка
/// <summary>
/// Деление по модулю
/// </summary>
/// <param name="a">делимое</param>
/// <param name="b">делитель</param>
/// <returns>остаток</returns>
public static int Mod(long a, long b)
Унарный плюс
/// <summary>
/// унарный плюс
/// </summary>
/// <param name="a"></param>
/// <returns></returns>
public static int ABS(long a)
Унарный минус
/// <summary>
/// унарный минус
/// </summary>
/// <param name="a"></param>
/// <returns></returns>
public static int IABS(long a)
Вычитание
/// <summary>
/// вычитание
/// </summary>
/// <param name="a">уменьшаемое</param>
/// <param name="b">вычитаемое</param>
/// <returns>разность</returns>
public static int Sub(long a, long b)
По результатам ручного тестирования заполнить отчет о проблеме.
Обсуждение спецификации на программу "Калькулятор". Студенты описывают выявленные в спецификации ошибки и обосновывают их. Студентам выдается правильная версия спецификации.
Непосредственно для тестирования программного обеспечения необходимо определить проверочные задания, выполняемые системой или ее отдельной частью. Такие задачи называются тестовыми примерами.
Можно выделить два подхода к созданию тестовых примеров – исходя из функциональных требований (или из любой другой документации описывающей систему) и исходя из кода. Построение тестовых примеров, исходя из кода, и построение покрытия кода мы будем изучать позднее, а сейчас рассмотрим подробнее первый случай. При тестировании функциональности программы применяется подход "черного ящика", то есть для каждого требования к системе формируются тест-требования, которые, как правило, детализируют функциональные требования так, что на одно функциональное требование может приходиться несколько тест-требований. Сами тест-требования определяют, что должно быть протестировано, но не определяют, как. Конкретные значения задаются в тестовых примерах. Таким образом, одному тест-требованию может соответствовать сразу несколько тестовых примеров.
Каждый тестовый пример состоит из набора входных значений и набора ожидаемых выходных значений. Рассмотрим спецификацию из семинара 1.
Начнем мы с тестирования отдельных составляющих программы (в данном случае – модуль математика) на допустимые данные и, в частности, на допустимые граничные данные.
Рассмотрим пример. Для этого возьмем требование 4.2.4.1.
Требование 4.2.4.1: Для чисел, меньших либо равных MAXINT и больших либо равных MININT, частное которых меньше либо равна MAXINT и больше либо равна MININT и делитель не равен 0, функция деления должна возвращать правильное частное с точки зрения математики.
Функция, которую будем тестировать:
/// <summary>
/// частное
/// </summary>
/// <param name="a">делимое</param>
/// <param name="b">делитель</param>
/// <returns>частное</returns>
public static long Div(long a, long b)
В принципе, тестирование такой функции легко автоматизируется при помощи public, т.е. к ней можно обратиться из любого класса. К тому же она является статической, что позволит вызывать ее, не создавая экземляр класса CalcClass. Однако на этом семинаре мы рассмотрим ручное тестирование.
Прежде всего по этому функциональному требованию составим тест-требования. На первый взгляд, очевидно, что вопрос для проверки звучит так: "Проверить, что для чисел, меньших либо равных MAXINT и больших либо равных MININT, частное которых меньше либо равно MAXINT и больше либо равно MININT и делитель не равен 0, функция деления возвращает правильное частное с точки зрения математики". Однако, это не совсем так. Фраза "меньших либо равных" сразу же наводит на мысль о проверке двух случаев – 1) хотя бы одно из чисел строго равно MAXINT и 2) все числа меньше, чем MAXINT.
Замечание. Стоит заметить, что сейчас мы пишем очень подробные тест-требования, которые практически сразу можно отобразить в тестовые примеры. Такая ситуация наблюдается, например, в проектах, в которых тест-требования отсутствуют, а тестовые примеры пишутся сразу на основании функциональных требований.
Тест-требования
MAXINT и больших 0, функция деления возвращает правильное частное с точки зрения математики.MAXINT и большего 0, и делителя, меньшего 0 и большего MININT, функция деления возвращает правильное частное с точки зрения математики.0 и большего чем MININT, и делителя, большего 0 и меньшего MAXINT, функция деления возвращает правильное частное с точки зрения математики.0 и больших MININT, функция деления возвращает правильное частное с точки зрения математики.0, и делителя, меньшего MAXINT и большего 0, функция деления возвращает правильное частное с точки зрения математики.0, и делителя, большего MININT и меньшего 0, функция деления возвращает правильное частное с точки зрения математики.MAXINT, и делителя, меньшего MAXINT и большего MININT, функция деления возвращает правильное частное с точки зрения математики.MININT, и делителя, меньшего MAXINT и большего MININT, функция деления возвращает правильное частное с точки зрения математики.MAXINT, и делимого, меньшего MAXINT и большего MININT, функция деления возвращает правильное частное с точки зрения математики.MININT, и делимого, меньшего MAXINT и большего MININT, функция деления возвращает правильное частное с точки зрения математики.MAXINT, и делимого, равного MININT, функция деления возвращает правильное частное с точки зрения математики.MAXINT, и делимого, равного MAXINT, функция деления возвращает правильное частное с точки зрения математики.MININT, и делимого, равного MININT, функция деления возвращает правильное частное с точки зрения математики.MININT, и делимого, равного MAXINT, функция деления возвращает правильное частное с точки зрения математики.Замечание: на самом деле, еще можно проверить, что функция корректно работает с однозначными и многозначными числами. К тому же надо убедиться, что она правильно обрабатывает все цифры в числах, а, например, не генерирует исключение, если одно из чисел содержит цифру 9, или результат ее работы не зависит от того, делится ли одно число на другое нацело или нет.
Составим тестовые примеры и запишем их в виде таблицы (табл.5.1).
| № | Входные значения: делимое, делитель | Ожидаемый результат | Номер тест-требования | Примечания |
|---|---|---|---|---|
| 1) | 43 / 21 | 2 | 1) | Самый частый случай – корректные входные данные |
| 2) | 87/-56 | -1 | 2) | -//- |
| 3) | -9/2 | -4 | 3) | -//- |
| 4) | -4321/-50 | 86 | 4) | -//- |
| 5) | 0/1234567890 | 0 | 5) | Часто ошибки проявляются при нулевых значениях переменных |
| 6) | 0/-1098765432 | 0 | 6) | -//- |
| 7) | 2147483647/95 | 22605091 | 7) и 1) | Проверка граничных условий |
| 8) | -2147483648/9 | -238609294 | 8) и 2) | -//- |
| 9) | 99/2147483647 | 0 | 9) и 1) | -//- |
| 10) | -87/-2147483648 | 0 | 10) и 4) | -//- |
| 11) | -2147483648/2147483647 | -1 | 11) | А здесь - ошибка |
| 12) | 2147483647/2147483647 | 1 | 12) | -//- |
| 13) | -2147483648/-2147483648 | 1 | 13) | Ошибка |
| 14) | 2147483647/-2147483648 | 0 | 14) | Ошибка |
Примечание. Здесь стоит так или иначе сымитировать работу функции и исследовать ее функциональность вместе со студентами.
Заметим, что, мы не можем точно сказать, где произошла ошибка, — это хорошо видно из рис.5.1.
(рис 5.1) Определение местоположения ошибки Части рисунка, помеченные вопросом – те части программы, в которых могла быть ошибка. Это сами вычисления, преобразование типов, ошибка GUI или передачи параметров (возможно, с некорректным преобразованием типов). О выявленных ошибках составляется отчет, который отдается разработчикам. При этом исправление ошибки в обязанности тестировщика не входит, так как он занимается именно тестированием, а не отладкой приложения.
В первом тесте мы ввели два числа и получили верный результат. Все остальные тесты точно такие же. Но перебрать их все не получится, так как всевозможных комбинаций – 429496736 * 429496735= 184467445805156960. Очевидно, что большинство входных значений приведут к одному и тому же результату, и нет смысла проверять их все. Если программа пройдет первый тест, то она, вероятнее всего, пройдет и остальные.
Если от двух тестовых примеров ожидается получить один и тот же результат, значит, они принадлежат одному классу. Такие множества примеров называются классами эквивалентности. Классы эквивалентности — это, в первую очередь, способ уменьшения необходимого числа тестовых примеров. При тестировании достаточно выполнить только один тестовый пример для каждого класса эквивалентности. Разбиение на классы эквивалентности особенно полезно, когда на вход системы может быть подано большое количество различных значений; тестирование каждого возможного значения привело бы к слишком большому объему тестирования.
Рассмотрим другой пример.
Требование 4.2.1.1: Для чисел, каждое из которых меньше либо равно MAXINT и больше либо равно MININT, функция суммирования должна возвращать правильную сумму с точки зрения математики.
Функция, которую будем тестировать:
/// <summary>
/// Сложение
/// </summary>
/// <param name="a">слагаемое</param>
/// <param name="b">слагаемое</param>
/// <returns>сумма</returns>
public static long Add(long a, long b)
По сравнению с предыдущим требованием у этого явно есть недостатки. Здесь ничего не говорится об ограничениях на сумму. Можно легко подобрать два таких числа, которые будут удовлетворять заявленному требованию, а их сумма будет выходить за границы int. Скорее всего, это ошибка проектирования программы. Тогда необходимо исправить спецификацию и сообщить об этом остальным участникам разработки, прежде всего ее составителю.
После исправлений функциональное требование 4.2.1.1. будет выглядеть так:
Требование 4.2.1.1: Для чисел, меньших либо равных MAXINT и больших либо равных MININT, сумма которых меньше либо равна MAXINT и больше либо равна MININT, функция суммирования должна возвращать правильную сумму с точки зрения математики.
Тестирование на допустимые данные ничем не будет отличаться от тестирования функции деления. Составим классы эквивалентности.
В простейшем случае любое из слагаемых делится на 3 класса эквивалентности: MININT, MAXINT и промежуточное значение. Если подходить более серьезно, то можно выделить 7 допустимых классов эквивалентности: MININT, MININT+1, отрицательное не граничное число, 0, положительное не граничное число, MAXINT-1, MAXINT.
Учитывая то, что у нас два идентичных входных параметра, для полного рассмотрения всех классов эквивалентности необходимо составить и проверить 7*7=49 тестовых примеров, что все равно гораздо меньше, чем полный перебор.
При этом, как показал тест с делением, ошибка может проявиться лишь в нескольких из этих примеров, которые не сильно отличаются от остальных
Некоторые классы эквивалентности не удовлетворяют требованию 4.2.1.1. так как выводят сумму за допустимые пределы. Поведение метода на таких входных данных описано в требовании 4.2.1.2.
На рис.5.2 показано возможное выделение классов эквивалентности (цветами изображены области корректных и некорректных значений, а кружками — сами классы эквивалентности):
(рис 5.2) Классы эквивалентностиИногда удобнее составить классы эквивалентности по выходному параметру (в данном случае их будет 7) и уже по ним подбирать входные данные и составлять тестовые примеры.
Основной способ поиска дефектов – передача системе данных, не предусмотренных требованиями: слишком длинных или слишком коротких строк, неверных символов, чисел за пределами вычислимого диапазона и т.п. Неверные данные, как и допустимые, также можно разделять на различные классы эквивалентности. В качестве простого примера снова рассмотрим функцию сложения.
Замечание. Как уже отмечалось выше, тест-требования составлены очень подробно и, фактически, соответствуют тестовым примерам. Поэтому поведение метода на некорректных данных описано в спецификации, хотя подобная ситуация в жизни редко встречается.
В требовании 4.2.1.2. Для чисел, сумма которых больше чем MAXINT и меньше чем MININT, а также в случае, если любое из слагаемых больше чем MAXINT или меньше чем MININT, программа должна выдавать ошибку Error 06 (см 5.2.3).
Интерфейс метода Add не позволяет нам узнать об ошибке, произошедшей во время выполнения метода. Среда .NET предоставляет мощное средство для отлавливания и обработки ошибок (и не только) во время выполнения программы – Exception (исключение). Именно с использованием исключений и будут работать методы класса CalcClass, но так как знакомство с ними произойдет позднее, то сейчас воспользуемся другим методом – создадим в классе математических функций глобальную статическую переменную типа string lastError. В нее будем записывать коды ошибок, произошедшие во время работы программы, а в сами методы вставим код, выводящий на экран сообщение об ошибке.
Замечание. Описание класса Exception и его применение можно прочитать по адресу
http://msdn.microsoft.com/library/default.asp?url=/library/en-us/cpref/html/ frlrfsystemexceptionclasstopic.asp
О перехвате и обработке исключений — по адресу http://msdn.microsoft.com/library/default.asp?url=/library/en-us/cpguide/html/ cpconexceptionhandlingfundamentals.asp
Составим тест-требования.
MAXINT, то функция должна выдать сообщение "Слишком малое или слишком большое значение числа для int. Числа должны быть в пределах от -2147483648 до 2147483647 " и записать в переменную lastError "Error 06".MININT, то функция должна выдать сообщение "Слишком малое или слишком большое значение числа для int. Числа должны быть в пределах от -2147483648 до 2147483647 " и записать в переменную lastError "Error 06".MAXINT, то функция должна выдать сообщение "Слишком малое или слишком большое значение числа для int. Числа должны быть в пределах от -2147483648 до 2147483647" и записать в переменную lastError "Error 06".MININT, то функция должна выдать сообщение "Слишком малое или слишком большое значение числа для int. Числа должны быть в пределах от -2147483648 до 2147483647 " и записать в переменную lastError "Error 06".При составлении тестовых примеров этим тест-требованиям будет соответствовать более четырех примеров, так как необходимо проверить случаи, когда одно число больше MAXINT, а другое удовлетворяет требованиям или больше MAXINT и так далее. В то же время некоторые тестовые примеры могут покрывать сразу несколько тест-требований. Так, пример "Если первое слагаемое больше MAXINT, а второе слагаемое меньше MININT, при этом сумма чисел больше MAXINT, то функция возвращает сообщение "Слишком малое или слишком большое значение числа для int. Числа должны быть в пределах от -2147483648 до 2147483647 " и записывает в переменную lastError "Error 06" проверяет сразу первое, второе и третье тест-требование.
Для недопустимых данных также можно составить классы эквивалентности, причем как по входным, так и по выходным параметрам, и по ним подобрать тестовые примеры. В нашем случае на каждую переменную можно выделить 4 класса: много меньше MININT, MININT-1, MAXINT+1, много больше MAXINT. Таким образом, надо проверить 16 тестовых примеров.
На самом деле, взглянув на любую из рассмотренных функций, в общем случае выделяют 4 основных класса эквивалентности (рис.5.3).
(рис 5.3) Структурная схема функции деленияЭто тот минимум, на котором и надо протестировать метод. Однако интуиция и опыт тестировщика подсказывают, что эти классы можно разбить на более мелкие подклассы, в которых часто возникают ошибки. Так, первый класс для функции нахождения частного мы разбили на 14 подклассов, в результате чего и обнаружили ошибку.
Помимо рассмотренных классов тестовых примеров, направленных на выявление различных дефектов в работе программной системы, выделяют также тестовые примеры реинициализации системы, повторного ввода данных, устойчивости системы и другие.
Замечание. Подробнее о
Некоторые тестовые примеры не могут быть выполнены в автоматическом режиме, слишком сложны для автоматизации их выполнения или их автоматическое выполнение потребует слишком много времени, и поэтому они требуют ручной работы тестировщика. MVSTE имеет инструмент для работы с ручными тестами.
Ручное тестирование в MVSTE представляет собой сценарий выполнения теста.
Рассмотрим процесс создания ручного теста.
Сначала создадим новый тестовый проект. Для этого зайдем в на панели Standart )
В появившемся диалоговом окне New Project выберем тип проекта Visual C#->Test-> Test Project (если язык C# не выбран по умолчанию в MVSTE, то выберите Test Project->Test Documents-> Test Project ). В поле Name зададим имя нашего проекта (например, ManualTestProject ). Нажмем ОК. (рис. 5.4)
(рис 5.4) Диалоговое окно New ProjectНовый тестовый проект создан.
Теперь посмотрим на окно Solution Explorer (рис.5.5). Созданный тестовый проект содержит три файла, связанных с тестированием:
| AuthoringTest.txt | Примечания о создании тестов, включающие инструкции по добавлению дополнительных тестов к проекту. |
|---|---|
| UnitTest1.cs | Пустая структура |
| ManualTest1.mht | Шаблон в формате Word, который заполняется инструкциями при |
(рис 5.5) Окно Solution ExplorerЗамечание. Файл UnitTest1.cs нам не понадобится для ручного тестирования, поэтому его можно удалить из проекта. Для этого в Solution Explorer щелкнем по нему правой кнопкой мыши и нажмем в появившемся контекстном меню Delete. В появившемся окошке подтверждаем удаление, нажав OK.
Замечание. Если на вашем компьютере не установлен Microsoft Office 2003, то файл ManualTest1.mht не будет создан. Для добавления в проект шаблона для ручного тестирования нужно в меню Test выбрать New Test. В появившемся диалоговом окне Add New Test выбрать Manual Test(text format). В поле Test Name нужно ввести название теста, например ManualTest1.mtx. Ни в коем случае нельзя менять разрешение этого файла. В поле Add to Test Project выберем созданный нами ранее ManualTestProject. Нажмем OK. (рис. 5.6) В наш тестовый проект будет добавлен файл с ручным тестом ManualTest1.mtx.
(рис 5.6) Диалоговое окно Add New TestТеперь убедимся, что ручной тест добавлен и готов к выполнению. В меню Test нажмем на пункт Windows и в открывшемся подменю выберем Test View. Откроется окно Test View, в котором виден тест MyManualTest (рис. 5.7).
(рис 5.7) Окно Test ViewНовый ручной тест добавлен, и теперь все готово к его редактированию. Необходимо открыть шаблон теста (например, сделав двойной клик мышкой по ManualTest1.mht ( ManualTest1.mtx ) в Solution Explorer). Далее, следуя инструкции, вводим информацию о тесте в шаблон. Шаблон включает в себя название теста ( Test Title ), описание теста ( Test Details ), функциональность, которую надо проверить ( Test Target ), действия, которые необходимо совершить для проведения теста ( Test Steps ), и описание истории изменений теста ( Revision History ). После завершения редактирования необходимо сохранить шаблон.
Следующий этап – выполнение теста тестировщиком.
В окне ).
Появится диалоговое окно, которое предупреждает о том, что тест будет выполнен, когда все ручные тесты будут пройдены. Нажимаем OK. Через некоторое время появится диалоговое окно, сообщающее нам о том, что все ручные тесты готовы к выполнению. Опять нажимаем OK.
Откроется окно Test Results, в котором наш тест будет помечен как Pending (выполняется), и окно MyManualTest[Running], начинающее выполнение теста. Следуя сценарию теста и оставляя свои комментарии в верхней части окна, тестировщик выполняет тест, после чего указывает, пройден тест или нет ( Pass/Fail ), и нажимает Apply в верхней части экрана. В окне Test Results отобразятся изменения, то есть вместо Pending будет Passed или Failed (в зависимости от того, что вы указали в окне MyManualTest[Running] после выполнения ручного теста).
, указать имя и местоположение файла.
Будут выданы .exe и .dll файлы, которые нужно протестировать (тестирование черного ящика).
Составить тест-требования и провести ручное тестирование следующих методов:
Нахождение остатка
/// <summary>
/// Деление по модулю
/// </summary>
/// <param name="a">делимое</param>
/// <param name="b">делитель</param>
/// <returns>остаток</returns>
public static int Mod(long a, long b)
Унарный плюс
/// <summary>
/// унарный плюс
/// </summary>
/// <param name="a"></param>
/// <returns></returns>
public static int ABS(long a)
Унарный минус
/// <summary>
/// унарный минус
/// </summary>
/// <param name="a"></param>
/// <returns></returns>
public static int IABS(long a)
Вычитание
/// <summary>
/// вычитание
/// </summary>
/// <param name="a">уменьшаемое</param>
/// <param name="b">вычитаемое</param>
/// <returns>разность</returns>
public static int Sub(long a, long b)
По результатам ручного тестирования заполнить отчет о проблеме.
Для получения официальных документов о завершении программы дополнительного профессионального образования (удостоверения о повышении квалификации, дипломов о профессиональной переподготовке и MBA) необходимо предоставить:
Внимание! Вы можете не заказывать доставку бумажной версии официального документы, а скачать его в электронном виде и распечатать самостоятельно. Информация о выданном документе в течение 1 месяца загружается в Федеральную информационную систему «Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении» - ФИС ФРДО.
Доступ на новый сайт осуществляется с использованием адреса электронной почты, который был указан вами при регистрации на "старом". Мы постарались перенести все ваши данные с прежнего ресурса, однако не исключена вероятность потери части информации.
При возникновении проблемы со входом, воспользуйтесь функцией сброса пароля
Если вы обнаружите несоответствия, пожалуйста, сообщите нам.