Документация, сопровождающая процесс верификации и тестирования (тест-планы)

Следующая часть отчета о прохождении тестов должна содержать информацию о результате выполнения каждого тестового примера - завершился ли он успешно или в результате его выполнения были выявлены какие-либо несоответствия с ожидаемым результатом. В некоторых проектах эта часть отчета может быть представлена в одной из двух форм - полной или краткой. Полная форма содержит всю информацию о тестовом примере, краткая - только информацию об обнаруженных в результате выполнения тестового примера несоответствий ожидаемых и реальных выходных значений.

Обычно каждая запись о результате прохождения каждого тестового примера в полной форме содержит следующую информацию:

• Идентификатор тестового примера
• Краткое описание тестового примера
• Перечисление всех входных значений тестового примера
• Перечисление всех ожидаемых и реальных выходных значений тестового примера
• Для каждой пары "ожидаемое-реальное выходное значение" - информацию о совпадении/несовпадении этих значений
• Сообщение о том, пройден или не пройден тестовый пример

В краткой форме каждая запись обычно содержит следующую информацию:

• Идентификатор тестового примера
• Перечисление не совпавших ожидаемых и реальных выходных значений тестового примера
• Для каждой пары "ожидаемое-реальное выходное значение" - информацию о совпадении/несовпадении этих значений
• Сообщение о том, пройден или не пройден тестовый пример

Ниже приведено два примера информации о прохождении тестового примера в краткой и полной формах соответственно. Красными цифрами в скобках отмечены соответствующие пункты приведенных выше списка для краткой и полной форм соответственно.

Завершающая часть отчета о прохождении тестов должна содержать краткую итоговую информацию о выполнении всех тестовых примеров, по которым составлялся отчет.

Обычно эта часть отчета содержит следующую информацию:

1. Общее количество выполненных тестовых примеров
2. Количество успешно пройденных тестовых примеров
3. Количество неуспешно пройденных тестовых примеров
4. Общее количество проверенных выходных значений
5. Количество выходных значений, у которых ожидаемое значение не совпало с реальным

Ниже приведен пример этой части отчета.

Часто в отчет о выполнении тестов кроме количественной статистики помещают раздел с подробным объяснением причин неуспешно пройденных тестовых примеров. Каждый пункт такого объяснения обычно содержит следующую информацию:

1. Идентификаторы тестовых примеров, благодаря неуспешному выполнению которых выявлена проблема
2. Ссылка на разделы требований, по которым написаны тестовые примеры
3. Ссылка на участки программного кода в котором выявлена проблема
4. Описание сути проблемы и (опционально) возможные пути ее решения с точки зрения тестировщика

Данный раздел может служить основой для создания отчетов о проблемах либо частично заменять их.

Пример такого раздела приведен ниже:

11.2.3. Автоматическое и ручное тестирование

Некоторые тестовые примеры не могут быть выполнены в автоматическом режиме и поэтому требуют ручной работы тестировщика по их выполнению. Результаты выполнения ручных тестовых примеров могут заноситься в тот же самый документ, что и результаты выполнения автоматических тестовых примеров. Особенно часто это делается в случае, если и автоматические, и ручные тесты проверяют одну и ту же функциональную часть тестируемой системы. В этом случае при генерации отчета о прохождении тестов для ручных тестов генерируется форма, в которую тестировщик заносит данные о результатах проведенного им ручного тестирования. Само ручное тестирование может заключаться либо в выполнении тестового сценария, заданного в тест-плане, либо в экспертном анализе участков программного кода системы, которые не могут быть выполнены при автоматическом тестировании на тестовом стенде. Форма для ручного тестирования обычно содержит следующую информацию:

1. Идентификатор ручного тестового примера
2. Описание сценария ручного тестового примера или задачи экспертного анализа
3. Имя лица, проводившего ручное тестирование
4. Версии требований, на основании которых проводилось ручное тестирование
5. Ссылки на участки программного кода, для которого проводится ручное тестирование
6. Информацию о соответствии программного кода требованиям (результат ручного тестирования) - соответствует/не соответствует
7. Информацию о потенциально возможных проблемах внутри допустимого диапазона значений и за его пределами
8. Информацию о возможности покрытия тестируемого вручную программного кода при достижении условий, указанных в требованиях
9. Информацию об итоговом результате ручного тестового примера - успешно/неуспешно

Ниже приведен пример заполненной формы для ручного тестирования. Красными цифрами в скобках выделены соответствующие пункты приведенного выше списка, зеленым выделен текст, вводимый в форму тестировщиком: