Метрика тестирования программного обеспечения — это критерий для отслеживания эффективности усилий по обеспечению качества. Сначала вы устанавливаете показатели успеха на этапе планирования. Затем сравниваете их с полученной метрикой после завершения процесса.

Однако многие специалисты по контролю качества программного обеспечения и тестированию склонны фокусироваться на том, как будут выполняться тесты, а не на фактической информации, получаемой в результате тестирования. Под этим я подразумеваю, что тестировщики часто сосредотачиваются на простом удовлетворении от завершения всех тестов. Но всегда ли это хорошо? У вас может быть 100% процент прохождения тестов со всеми зелеными индикаторами на приборной панели, и все равно возможно, что ваши тесты недостаточно сильны.

В статье Алекса Хусара (Alex Husar) будут обсуждаться пять метрик тестирования программного обеспечения, которые могут помочь специалистам по контролю качества в оценке их успеха.

Характеристики «хорошей» метрики тестирования

Давайте поговорим о функциях, которые метрика должна иметь в идеале.

Соответствие бизнес-целям

Критические KPI должны отражать основную миссию и цель бизнеса; например, ежемесячный рост выручки или количество новых пользователей. Каждая компания выбирает свои показатели на основе того, чего они намерены достичь с помощью своего продукта. Хотя может показаться привлекательным преуспеть во всех тестах, сосредоточение внимания на неправильных целях может быть обманчивым. Это может повлиять на работу приложения и всю сложную систему, такую как headless commerce architecture.

Позволяет расти

Каждая метрика должна допускать возможность улучшения. Что, если вы достигли 100-процентного уровня успеха? Целью может быть сохранение этого показателя на этом уровне или его дальнейшее улучшение.

Поощряет разработку стратегии

Когда показатель дает команде цель, он также мотивирует их задавать вопросы для разработки плана. Предположим, вам нужно увеличить доход. Подумайте, требуются ли продукту новые функции, чтобы стимулировать больше покупок. Необходимо ли создавать новый канал приобретения? Запустил ли конкурент какие-либо новые продукты или функции, которые привлекают новых покупателей?

Отслеживаемая и понятная

Хорошие метрики просты для понимания и отслеживания. В противном случае, как люди, собирающие их, будут принимать обоснованные решения? Сотрудники должны понимать, что они могут сделать для улучшения результата.

Если ваша система доставки не дает тех результатов, на которые вы рассчитываете, и вы хотели бы изучить проверенную дорожную карту для оптимизации рабочих процессов с целью повышения их предсказуемости, мы будем рады приветствовать вас на нашем курсе «Flow Metrics: управление потоковым производством на основе данных»!

Три совета по выбору и измерению метрик тестирования программного обеспечения

1. Начните с вопросов

Ваши вопросы должны охватывать три темы:

1. Что вы измеряете
2. Стратегии и инструменты для его измерения
3. Причины для отслеживания

Чтобы избежать анализа бесполезных метрик, обратите внимание на процесс определения метрик. Иногда небольшое количество ошибок в бэклоге означает, что ваша команда QA (quality assurance) выполняет свою работу. Однако, когда вы разделите эти ошибки на проблемы с высоким/средним/низким приоритетом, вы сможете лучше увидеть общее качество программы и внести необходимые коррективы.

2. Не пренебрегайте автоматизацией при расчете метрик QA

Автоматизация экономит время на ручной сбор данных и помогает обеспечить постоянную актуальность ваших показателей. Предположим, вы используете Jira. Настройте запрос Jira Query Language (JQL) на вашей странице Confluence, если вам нужны данные о критических ошибках каждый спринт. Они будут часто обновляться. Или вы можете использовать другие инструменты, основываясь на предпочитаемой системе управления тестированием/отслеживания задач.

3. Собирайте комментарии и постепенно улучшайте метрики

После того, как вы настроили и собрали все метрики, начинаются процессы обратной связи и улучшения. Обратите внимание на обратную связь, чтобы повысить эффективность и ясность ваших метрик и отчетов.

Пять показателей тестирования программного обеспечения, которые необходимо отслеживать

Теперь давайте рассмотрим несколько конкретных примеров. Обратите внимание, что различные аспекты качества имеют разное значение в зависимости от обстоятельств.

1. Удовлетворенность пользователей

Здесь вы захотите увидеть реакцию клиента на продукт. Вы используете опросы об удовлетворенности пользователей и тикеты поддержки, которые выявляют ошибки. Если вы будете отслеживать эти показатели качества и работать над их улучшением, бизнес будет расти, поскольку вы увидите больше довольных и возвращающихся клиентов. Если что-то не так, вам придется провести причинно-следственный анализ проблемы и устранить препятствия.

2. Метрики процесса

Это внутренние измерения, которые оказывают значительное влияние на качество вашего продукта. Например, вы можете отслеживать время выполнения, время, которое проходит между постановкой задачи и развертыванием кода и продуктивом.

Еще одна метрика, которую вы можете использовать, — это время цикла. Оно означает время на создание функции после получения разрешения на начало работы над ней. Наконец, вы можете отслеживать время, необходимое для решения трудностей. Это может означать скорость решения тикетов или ошибок после того, как о них было сообщено.

Поскольку эти показатели бывает трудно измерить, еще одним методом повышения эффективности процесса является обнаружение того, где незавершенная работа начинает скапливаться в очереди. Это может выявить узкое место, устранение которого может помочь вашим командам стать более продуктивными.

3. Метрики покрытия

Еще одним показателем качества тестирования является покрытие тестов. Оно информирует нас о количестве протестированного кода. Это способ убедиться в том, что ваши тесты проверяют код и насколько они работают. В этом случае лучше использовать стратегию “сверху вниз”. Первым шагом является анализ покрытия модулей. Затем вы рассматриваете функциональность и, наконец, покрытие данных в каждой функциональности. Это означает, сколько различных комбинаций потенциальных входов данных вы покрываете тестами.

В эту группу входят такие метрики, как:

• Процент покрытия требований
• Покрытие модульных тестов
• Покрытие ручных или исследовательских тестов
• Тестовые случаи по категориям требований
• Покрытие тестов пользовательского интерфейса
• Покрытие интеграционных и API тестов

4. Метрики качества кода

Оценка качества кода означает разделение ценности кода на две категории: Хороший и плохой. Единого понятия качества не существует, потому что практически каждый разработчик сам определяет, что такое хороший код. Как вы можете оценить качество кода? Такие инструменты, как SonarQube, позволяют определить, сколько технического долга имеется в системе. Вам необходимо классифицировать проблемы и уязвимости, упорядочить их по приоритетности и выбрать, на чем вы собираетесь сосредоточиться.

5. Метрики ошибок или инцидентов

Каждая проблема отличается по степени серьезности, поэтому не стоит придавать всем проблемам одинаковое значение. Некоторые проблемы — это просто предложения по улучшению. Определите, какие компоненты качества важнее других для вашей компании. При анализе показателей, которые вы будете использовать, не ограничивайтесь только количеством дефектов.

Что можно извлечь из отчетов о происшествиях? Эти результаты могут включать в себя:

• Общее количество ошибок
• Открытые дефекты
• Закрытые дефекты
• Время закрытия каждого отчета об инциденте
• Изменения с момента последнего релиза

Если ваша система доставки не дает тех результатов, на которые вы рассчитываете, и вы хотели бы изучить проверенную дорожную карту для оптимизации рабочих процессов с целью повышения их предсказуемости, мы будем рады приветствовать вас на нашем курсе «Flow Metrics: управление потоковым производством на основе данных»!

Правила измерения метрик тестирования программного обеспечения

Оценка метрик в тестировании программного обеспечения и оценка их успешности может быть разочаровывающей и неясной. Вот несколько советов и предложений, которые вы можете использовать:

1. Соотносите свои метрики с целями проекта, процесса и продукта. Помните, что одного показателя недостаточно для полного представления о качестве программного обеспечения.
2. Отслеживайте прогресс (или регресс) в течение времени. Оптимизируйте процесс сбора данных с помощью автоматизации, храните данные в ресурсах для совместной работы, таких как Wiki/Confluence, и регулярно анализируйте результаты.
3. Сообщайте статистику заказчику и команде, чтобы продемонстрировать свой прогресс. Отчеты должны быть простыми для понимания, поэтому делайте их полезными и удобными для пользователя.
4. Проверяйте достоверность метрик. Об отслеживании неактуальных метрик и отображении неточных данных не может быть и речи.

Измерение является важным видом деятельности в тестировании программного обеспечения, например определение количества успешных тестов в сравнении с количеством неудачных. Вся полученная информация поступает к заинтересованным сторонам. В результате они могут принимать обоснованные решения, например, когда выпускать приложение.

Как вы можете контролировать свою деятельность по тестированию? Вам необходимо определить соответствующие метрики тестирования программного обеспечения. Выбрать правильные метрики тестирования может быть непросто. Часто команды выбирают метрики, которые не синхронизированы с общим бизнесом.

К чему может привести отсутствие адекватных показателей? Заинтересованные стороны не могут измерить прогресс, определить возможности для развития или проконтролировать, какие тактики тестирования оказывают наиболее положительное влияние. При всем этом команды QA должны отслеживать индивидуальный прогресс, уровень квалификации и успехи, а также качество кода, ошибки и покрытие.