Покрытие программного кода

19.2.2.3. По компонентам логических условий

Для более полного анализа компонент условий в логических операторах существует несколько методов, учитывающих структуру компонент условий и значения, которые они принимают при выполнении тестовых примеров.

19.2.2.4. Покрытие по условиям (Condition Coverage)

Для обеспечения полного покрытия по данному методу каждая компонента логического условия в результате выполнения тестовых примеров должна принимать все возможные значения, но при этом не требуется, чтобы само логическое условие принимало все возможные значения. Так, например, при тестировании следующего фрагмента

if (condition1 || condition2)
  MethodA();
else
  MethodB();

для покрытия по условиям потребуется два тестовых примера:

При этом значение логического условия будет принимать значение только true; таким образом, при полном покрытии по условиям не будет достигаться покрытие по веткам.

19.2.2.5. Покрытие по веткам/условиям (Condition/Decision Coverage)

Данный метод сочетает требования предыдущих двух методов – для обеспечения полного покрытия необходимо, чтобы как логическое условие, так и каждая его компонента приняла все возможные значения.

Для покрытия рассмотренного выше фрагмента с условием

(condition1 || condition2)

потребуется 2 тестовых примера:

Однако, эти два тестовых примера не позволят протестировать правильность логической функции – вместо OR в программном коде могла быть ошибочно записана операция AND.

19.2.2.6. Покрытие по всем условиям (Multiple Condition Coverage)

Для выявления неверно заданных логических функций был предложен метод покрытия по всем условиям. При данном методе покрытия должны быть проверены все возможные наборы значений компонент логических условий. Т.е. в случае n компонент потребуется 2n тестовых примеров, каждый из которых проверяет один набор значений, Тесты, необходимые для полного покрытия по данному методу, дают полную таблицу истинности для логического выражения.

Несмотря на очевидную полноту системы тестов, обеспечивающей этот уровень покрытия, данный метод редко применяется на практике в связи с его сложностью и избыточностью.

Еще одним недостатком метода является зависимость количества тестовых примеров от структуры логического выражения. Так, для условий, содержащих одинаковое количество компонент и логических операций:

a && b && (c || (d && e))
((a || b) && (c || d)) && e

потребуется разное количество тестовых примеров. Для первого случая для полного покрытия нужно 6 тестов, для второго – 11.

19.2.2.7. Метод MC/DC для уменьшения количества тестовых примеров при 3-м уровне покрытия кода

Для уменьшения количества тестовых примеров при тестировании логических условий фирмой Boeing был разработан модифицированный метод покрытия по веткам/условиям (Modified Condition/Decision Coverage или MC/DC). Данный метод широко используется при верификации бортового авиационного программного обеспечения согласно процессам стандарта DO-178B.

Для обеспечения полного покрытия по этому методу необходимо выполнение следующих условий:

• каждое логическое условие должно принимать все возможные значения;
• каждая компонента логического условия должна хотя бы один раз принимать все возможные значения;
• должно быть показано независимое влияние каждой из компонент на значение логического условия, т.е. влияние при фиксированных значениях остальных компонент.

Покрытие по этой метрике требует достаточно большого количества тестов для того, чтобы проверить каждое условие, которое может повлиять на результат выражения, однако это количество значительно меньше, чем требуемое для метода покрытия по всем условиям.

Пример 1. Рассмотрим фрагмент кода, который мы использовали как пример для покрытия по строкам и по веткам. Для покрытия данного участка кода по методу MC/DC введем условные обозначения. Обозначим проверку prev == "оператор" как A, проверку prev == "унарный оператор" - как B, а переменную ShowMessage — как C. Первые два обозначения сделаны для того, чтобы элементарными переменными для метода MC/DC были булевы переменные, а третье обозначение — для единообразия.

С учетом сделанных обозначений фрагмент кода может быть записан так:

if (A || B) 
{
 if (C) 
  {
   ...
  } 
 else 
  {
   ...
  }
}

Для тестирования первого условия по MC/DC надо показать независимость результата (т.е. функции A || B ) от каждого аргумента. Соответственно, для этого используются три тестовых примера:

1. A = 0, B = 0, A || B = 0 (начальное значение)
2. A = 1, B = 0, A || B = 1 (показано влияние аргумента A )
3. A = 0, B = 1, A || B = 1 (показано влияние аргумента B )

Для тестирования ветвей (входящего в MC/DC) в зависимости от условия C необходимо, чтобы в тестовых примерах C принимало значение как true, так и false.

Итоговая таблица тестовых примеров для покрытия по MC/DC будет выглядеть следующим образом:

Количество тестовых примеров можно сократить до 3, если совместить примеры 3 и 4. Такое совмещение не повлияет на покрытие.

Пример 2. Для покрытия по MC/DC более сложных выражений рассмотрим следующий участок кода:

if ((operators.Count != 0 && operators.Peek().ToString() ==
   == "m") || operators.Peek().ToString() == "p")
{
    strarr.Add(operators.Pop());
}

Исходное условное выражение в операторе if можно записать как (A & B) || C. Данное выражение зависит от 3 переменных, т.е. может быть рассмотрено как булева функция с тремя аргументами. Согласно методу MC/DC для тестирования функции с тремя входами достаточно 4 тестовых примеров – один базовый и три показывающих независимое влияние каждого входа на выход.

Начнем построение набора тестов с самой внешней операции, т.е. с ||. Одним из аргументов этой операции является выражение (A & B). Будем пока рассматривать это выражение как единое целое. Для тестирования операции || по MC/DC требуется три тестовых примера:

1. A&B = 0, C = 0 (базовый пример)
2. A&B = 0, C = 1 (независимое влияние C на выход)
3. A&B = 1, C = 0 (независимое влияние A&B на выход)

В третьем тестовом примере значения A и B могут быть получены сразу, т.е. имеем

1) A = 1, B = 1, C = 0

Значения A = 1 и B = 1 являются базовыми для тестирования по MC/DC операции &&. Соответственно, необходимо рассмотреть еще два случая, при которых A = 0, B = 1 и A = 1, B = 0 для демонстрации независимого влияния аргументов A и B на значение функции. При этом необходимо, чтобы аргумент С был равен 0, дабы исключить его влияние на выход. Исходя из этих соображений, первый тестовый пример может быть записан как

1) A = 1, B = 0, C = 0

т.е. при этом проверяется влияние переменной B на значение функции. Во втором тестовом примере значение C = 1, поэтому он не может быть использован для проверки независимости аргументов A и B. Значения A и B в этом примере могут быть любыми, при условии, что A&B=0. Запишем второй тестовый пример как

2) A = 1, B = 0, C = 1

Для тестирования независимого влияния аргумента A необходимо добавить еще один тестовый пример, в котором A = 0, B =1:

4) A = 0, B = 1, C = 0

Таким образом, мы построили 4 тестовых примера для проверки данного участка кода.

При переходе от обозначений A, B, C к исходным получим следующие тестовые примеры: