Автоматизированное тестирование не-тестировщиками

Никита Налютин,Experian Decision Analytics

QA Manager/EMEA

Кто я?

1996-2002: разработчик

1999: получил Excellence in Computer Science Award

2002: пришел в тестирование

2002-2013: самолеты-трейдинг-видео-банки…

2007: книга «Верификация ПО, издана при поддержке

2008: Кандидат технических наук

2012: Тест-менеджер

Работаем с банками. В чем особенности и кто виноват?

Нет выделенных тестировщиков. Почему так и что делать?

Зачем тогда автоматизация. Роскошь или средство?

Почему не Selenium. Вам честно или политкорректно?

Что видят технари. Мы точно хотим это использовать?

Что видят не-тестировщики. И толстый слой абстракции?

Как выстроили процесс. Что это изменило в команде?

Хотим статистику. Может Jenkins?

Работаем с банкамиВ чем особенности и кто виноват?

Много бюрократиии мало порядка

Разные окружения у разработчика и в банке

Нужно быстро проводить smoke-тест

Нужно выходить на приемочное тестирование без блокирующих ошибок

Нет выделенных тестировщиковПочему так и что делать?

Так исторически сложилось

Есть хорошая команда разработчиков и аналитиков, которые знают продукт

Им нужно помочь тестироватьсистематизированно и чисто

Их нужно избавить от рутинной работы

Зачем тогда автоматизацияРоскошь или средство?

Автоматизация – для решенияпроблем людей …

Аналитики – избавить от рутиныПМ – дать прозрачность процесса

… удобным для них способом …В тестах много данных и состояний системыи все привыкли использовать таблицы

… за обозримое времяНужен ПМ, пилотный проект, немного удачи и стойкости все внедрить

Почему не SeleniumВам честно или политкорректно?

Честно – была идея использовать «продвинутый record & play», может когда-нибудь и сделаем Нужен был инструмент с низким порогом вхождения

Политкорректно – проанализировали рынок бесплатных систем автоматизации Web-а и нашли …

Почему не SeleniumВам честно или политкорректно?

Положительные факты:JS-подобный скриптовой язык + record&play

Возможность тонкой настройкиНизкий порог вхождения

Дополнительно: http://www.sahi.co.in

Что видят технари Мы точно хотим это использовать?

sc-project.sah

sc-project.xlsxtc-create-app.sah

tc-create-app.xlsx1. Create Application2. Security Check3. Underwriter 04. Underwriter 1/2/35. Approval Notification6. ...

Screen Field TC1 TC2Login Username admin credinsLogin Password 123 123Login _button Next Next... ... ... ...Сценарии

Тесты

Что видят не-тестировщики И толстый слой абстракции?

Контроллер для запуска

Что видят не-тестировщики И толстый слой абстракции?

Логическиесценарии

Что видят не-тестировщики И толстый слой абстракции?

Логическиесценарии

Что видят не-тестировщики И толстый слой абстракции?

Тест-кейсы

Что видят не-тестировщики И толстый слой абстракции?

Тест-кейсы

Что видят не-тестировщики И толстый слой абстракции?

Логи

Что видят не-тестировщики И толстый слой абстракции?

Логи

Что видят не-тестировщики И толстый слой абстракции?

А иногда все это

одновременно

Что видят не-тестировщики И толстый слой абстракции?

А иногда все это

одновременно

Как выстроили процессЧто это изменило в команде?

Тесты проектируют все… сначала workflow …… потом данные …… потом интеграция

Последовательная диагностика багов

Понимание влияния чистых данных на тесты

Понимание причин ошибок «на стыке» Видимый

результат

Хотим статистикуМожет Jenkins?

Хотим статистикуМожет Jenkins?

Минимальная обвязка для подготовки тестового окружения

Встроенный генератор jUnit-отчетовtestrunner …-htmlLog true -htmlLogDir "%USERDATA_DIR%\logs\html" -junitLog true -junitLogDir "%USERDATA_DIR%\logs\junit“

Для остального есть Groovy Postbuild Actions:File file = new File(manager.build.getWorkspace().toString() + '/userdata/logs/sc-obes.log')if (file.exists()) {

summary = manager.createSummary("warning.gif")summary.appendText("<pre>", false)summary.appendText(file.text, false)summary.appendText("</pre>", false)

}

РезультатыПолгода крутая погода, полгода совсем не беда?

• Большой проект для Одного Банка™:– 645 человеко/дней весь проект– 65 логических тестовых сценариев, общее время выполнения 12 часов– Ещенощное выполнение и статистика– 0 блокирующих дефектов во время приемочного тестирования– Благодарственное письмо от Одного Банка™

• Маленький проект для Другого Банка™:– 4 человека х 2 недели по плану тестирования– 25 тестовых сценариев, все выходные данные на скриншотах– сэкономили 1 человека и сработали втроем за 2 недели– все найденные Другим Банком ™ дефекты не связаны с

протестированной функциональностью

Я все еще Никита Налютин

Найти меня в сети весьма просто

Пишите, пообщаемся

Вопросы?

Графика: © http://geek-and-poke.com