Понятие тестового покрытия

Область тестирования программного обеспечения содержит такое понятие как качество продукта, а также оценку его использования и доступности.

Но клиенты должны понимать и уметь контролировать процесс того, что тестирование программного обеспечения проходит качественно.

Простыми словами, уровень тестирования ПО, как и многие схожие деятельности, необходимо оценивать на основе определенных критериев.

Тестовое покрытие

Подобные метрики являют собой разноплановые коэффициенты и данные, на основе которых можно не просто составить текущую картину продвижения проекта, но и получить правильные решения касательно того, как улучшить/повысить уровень эффективности тестирования ПО.

Метрики затрагивают все наиболее важные сферы тестирования — от проверки качества продукта, до эффективности проектной группы (от отдела разработки до отдела менеджмента).

В данном материале будем говорить о метрике тестирования, которая называется тестовое покрытие.

Тестовое покрытие — это «плотность» покрытия тестами выполняемого программного кода ПО или требований к нему.

Но, стоит понимать, что до полного покрытия «дойти» не выйдет, поскольку протестировать все 100% наполненности ПО никогда не получится!

Оценка тестового покрытия содержит сразу несколько методологических подходов, а именно:

• Покрытие требований;
• Покрытие программного кода;
• Проверочное покрытие на основе проанализированных данных потока управления.

Разберем каждый подход по отдельности.

Покрытие требований

Подобная метрика отображает текущую плотность покрытия проверками всех установленных требований к ПО. Наиболее точно она показывает ситуацию тогда, когда установленные требования атомарны.

Данная метрика исчисляется по следующей формуле: Тестовое покрытие = (количестов требований, покрытых тест-кейсами/общее количество требований)x100%.

Чтобы протестировать данное тестовое покрытие, все требования нужно постараться разделить на отдельные пункты, а затем каждый из них (пунктов) связать с тест-кейсами, которые его «тестируют». В тест-кейсах нет острой нужды, если они не могут протестировать определенное требование в программном обеспечении.

Если выполнить анализ такой связи, можно запросто получить ответ на вопросы: какие тест-кейсы тестируют какие именно требования и для каких требований нужно создать и/или отредактировать уже имеющиеся тест-кейсы.

Есть требования, которые могут содержать лишние тест кейсы.

Покрытие программного кода

Следующая метрика основана на демонстрации того, сколько строк программного кода могут задействоваться во время процесса запуска тест-кейсов.

Логика метрики обсчитывается по такой формуле: Тестовое покрытие = (количество строк кода, покрытых тест-кейсами/общее количество строк кода)x100%.

Чтобы понять какие строки были исполнены во время прохождения заданных тест-кейсов, нужно использовать особые инструменты, которые помогают найти именно те строки кода, которые нужны для исчисления тестовых сценариев.

Тестирование тестового покрытия выполняется методом проверки белого ящика на основе модульных, системных и интеграционных методологий тестирования.

Проверочное покрытие на основе проанализированных данных потока управления

Еще один метод тестирования ПО с полноценным доступом к программному коду, но он помогает выполнить проверку путей внедрения программы.

Для процесса покрытия данных путей могут создаваться особые тестовые сценарии.

Для того, чтобы проверить потоки управления, стоит выстроить их график, так называемый Control Flow Graph.

Итоги

Конечно же, это всего лишь малая часть всех метрик, используемых для оценки процесса тестирования ПО. Есть много специальных методик, от коэффициента стабильности требований, до эффективности тестов и тестовых наборов.

Они не только направлены на улучшения качества создания и проверки ПО, но и существенным образом повышают уровень удовлетворенности продуктом со стороны конечного пользователя.