Анна Кербель -- Risk driven testing

Анна Кербель, ведущий тестировщик

http://vkontakte.ru/id8140823akerbel@mail.ru

Risk Driven Testing

Не хватает времени?

Нужно найти важные ошибки как можно быстрее?

Нужен критерий эффективности тест кейсов или тестовых сценариев?

Помните! Есть всего 1 час!

Не бьются?

Влагоустойчивые?

Подзаводятся?

Протестируем часы

ОпределенияРиск – это возможное событие, влекущее за собой

материальные или иные затраты.

Подверженность Рискам (Risk Exposure) – оценка возможности фейла конкретной функциональности.

Тестирование – основная защита от рисков.

Risk Driven Testing – метод, при котором в первую очередь и/или более подробно тестируются те части функционала, которые более подвержены рискам.

Основные действия :• определить риски отдельных

функциональных частей;

• создать список функциональных частей, распределенных по подверженности рискам;

• написать тест кейсы;

• проходить максимальный набор тест кейсов за отведенное время.

Источники рисков:

• Продукт (реализована неправильная логика, ошибки);

• Проект (плохой процесс, сложность проекта);

• Пользователи (могут использовать продукт «неправильно»);

Кто несёт потери?

• Заказчик (потеря денег, потеря своего сегмента рынка );

• Разработчик (затраты ресурсов и времени на исправление проблем, затраты на поддержку продукта);

Вероятность возникновения проблемы?

Оценка вероятность фейла по:

• сложности функциональности,

• опытности команды разработчиков,

• опыту предыдущих релизов,

• зная, был ли рефакторинг кода.

• ?

Вероятность использования функциональности?

Задача

Система создаёт отчёты. Отчёт критично необходим аналитику раз в неделю.

Вероятность использования отчета: ?

Кладовщик и товар

Какова вероятность использования списка товаров?

Куда мог деться весь

товар?

Risk Exposure:

– подверженность риску (risk exposure) функциональности F;

– вероятность использования F;

– вероятность фейла F;

– цена/последствия фейла функциональности F (на продакшн);

Курьерская службаСистема со справочником медицинских

препаратов.

Справочник используется при 1/3 заказов.

Нерабочий справочник – служба теряет заказ – 500т.р.

Неверно работает – служба выплатит неустойку – 1 млн. р.

Раз в месяц справочник проверяет фармацевт. Время фармацевта – 5 т.р.

Полнаяподверженность риску:

• недоступность справочника – вероятность 10%

• неверная работа – вероятность 20%.

Полная подверженность риску : 83401,5

Стоимость потерь

Стоимость можно разделить на два типа:

– потери заказчика;

– потери разработчика продукта;

Risk Driven подход:

• оцениваются потери каждого тест кейса;

• оценивается вероятность риска для каждого тест кейса;

• рассчитывается Risk Exposure каждого тест кейса;

• оцениваются потери каждого тест кейса;

• оценивается вероятность риска для каждого тест кейса;

• рассчитывается Risk Exposure каждого тест кейса;

• из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика;

Risk Driven подход:

• оцениваются потери каждого тест кейса;

• оценивается вероятность риска для каждого кейса;

• рассчитывается Risk Exposure каждого тест кейса;

• из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика;

• оценивается Risk Exposure для каждого тестового сценария;

Risk Driven подход:

оцениваются потери каждого тест кейса;

• оценивается вероятность риска для каждого кейса;

• рассчитывается Risk Exposure каждого тест кейса;

• из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика;

• оценивается Risk Exposure каждого тестового сценария;

• выбираются сценарии с наибольшей подверженностью рискам;

Risk Driven подход:

Потери тест кейса

• по шкале от 1 до 10 (самые малые – самые большие);

• веса одинаковые;

Подверженность риску тест кейса

• подсчитать количество найденных багов и средний показатель Severity багов;

• вероятность фейла – произведение количества багов на средний Severity;

• нормализовать вероятности фейла.

Тестовые сценарии:

• должны моделировать обычное использование системы пользователем;

• должны быть направлены на бизнес-процессы заказчика;

• набор тестовых сценариев должен включать в себя весь набор тест кейсов;

Risk Exposure тестового сценария

Выбор тестовых сценариевTraceability Matrix

тест кейсов и сценариев

Выбираем тестовый сценарий

Вычеркиваем лишнееиз Traceability Matrix

Есть время?

Завершение

Рассчитываем Risk Exposure

Смешная система

Существует система отображения анекдотов.

Как только приходит анекдот, срабатывает оповещение.

Пользователь может прочитать анекдот и оценить.

Появилась новая функциональность – пользователь может отправить свой анекдот.

Основные сценарии:оповещение

отображение анекдотаоценка анекдота закрытие

оповещениеотображение анекдота

закрытие

оповещениезакрытие

создание анекдотазакрытие

отправка

Основные сценарии:

идея

Traceability Matrix

TS1 TS2 TS3 TS4

1 1    

1 1 1  

1      

1 1 1 1

      1

      1

Risk Exposure тест кейсов

10 0,02 0,2

8 0,2 1,6

5 0,3 1,5

3 0,1 0,3

5 0,5 2,5

5 1 5

Risk Exposure сценариев

Scenarios

TS1 3,6

TS2 2,1

TS3 1,8

TS4 7,8

Вычеркивание пройденного

TS1 TS2 TS3 TS4

1 1    

1  1 1  

1      

1 1 1 1

      1

      1

Risk Exposure сценариев

Scenarios

TS1 3,3

TS2 1,8

TS3 1,6

Почему Risk Driven тестирование?

• Тестирование мотивировано рисками. Мы ищем высокоприоритетные баги.

• Тестировщики постоянно используют Risk Driven тестирование, но в динамическом режиме, основываясь на субъективных оценках. Сделаем оценку объективной.

• Нет ограничений для использования.

• При Risk Driven подходе используются только непосредственные вычисления => можно автоматизировать.

Спасибо за Внимание!

Анна Кербель,ведущий тестировщик

http://vkontakte.ru/id81408238akerbel@mail.ru