Тестирование IP видео на примере библиотеки Skype

Тестирование IP видео на примере библиотеки Skype

2012 © Skype Internal Data.

SQA days 2012

Оксана Деменцова

• Software development engineer in test, Skype division. Microsoft. Tallinn office

• Почти 5 лет в тестировании

• Все проекты связаны с видео

oksana.dementsova

Slide 22012 © Skype Internal Data.

Сегодня

Видео библиотека Skype

Качество видео

Объективные оценки

Субъективные оценки

Выводы




Slide 5

Видео – в массы!

200 млн онлайн пользователей в месяц

40 млн одновременно онлайн

Более 40% звонков – видео звонки

300 млн минут видео в день



Независимый компонент


Обеспечения качества

Как и любой другой програмный продукт, Skype тестируется разными способами

• Unit testing, code coverage, и всякие другие инструменты

Однако, видео довольно уникальная часть

• И это то, о чем мы поговори

А начнем с одного большого вопроса…


На сколько хорошо выглядит

наше видео?


А если детальнее…

2012 © Skype Internal Data. Slide 9

Оно вообще

работает?

А со старыми

версиями?

Между

платформами

работает?

Предыдущие

версии хуже?

Видео и аудио

синхронны?

Какой компромис

между аудио, видео и

жизнью батареи?

Все непростоИзмерение качества видео – сложная задача, так как включает в себя:

1. понимание того, как работает воспрятие человека (глаза + мозг)

2. преобразование этих знаний в алгоритмы и эксперименты


Субъективное vs. объективное

Объективное: измеримые характеристики видео

Субъективное: то, что имеет значение для конечного пользователя


Спектр метрик


Полностью

объективные Объективные Смешанные

Скорее

субъективные

Полностью

субъективные

Частота кадров Цвет Артефакты ЧеткостьМнение

пользователей

Разрешение Замирания Скрытия ГладкостьОбщее

впечатление

Соотношение

сторон

СинхронностьПодергивание

Задержка Мерцание

Объективные метрики

Расрешение: 160x120, 720p, full HD…

Частота кадров: 30 fps

• Базовые метрики. Но, не дают полного представления о качестве

Другие метрики: точность кадра, размытость, блоковость, резкость

• Сложнее определить и измерить


Кодек


VC-1 H264 VP6

Цвет


Артефакты


Порядок кадров


Объективное

тестирование


e2e тестирование

UI уровень тестирования видео библиотеки + интеграция

Используем Automatic Calling System для распределения тестов

ACS включает:

• Агент, который контролирует UI либо браузер

• Логирование

• Опционально: лог парсеры, отчеты


Релиз тестирование

Тысячи звонков для проверки стабильности

• Тестирование новых версий видео библиотеки

• Тестирование новых функций: кодек, ключи настройки

Информация про производительность билдов:

• Логи

• Bugsense, Watson, HockeyApp


Карта ACS клиентов


Local loopback тестированиеТестовые приложения


CI система

Что это значит?

• каждые 10 минут, скрипт проверяет наличие новых коммитов.

• запускаются короткие тесты (в среднем тест – 30 сек).

• отчет генерируется в базе и отображается на веб странице

Ночью запускаются длинные тесты.


Build

Deploy

RunAnalyze

Report

CI систама


Наглядно

CI длительные тесты

Slide 25

8ми часовой звонок!


Ежедневное тестирование регрессии

Slide 26

Быстрые проверки Функционал Качество

Видео старт/стоп HD видеоРазрешение, частота

кадров

Совместимость

платформРасшаривание экрана

Реакция на изменения

качества сети

Переключение

устройствГруповой звонок

Реакция на

загруженость

процессора


Проверим сами?


Нефункциональные требования

Функциональные vs. Нефункциональные

видео работает = мы что-то видим

vs.

качество видео хорошее = нам нравится наш видео звонок


NFR – Pass/Failed vs баллы

Slide 29

Индикатор Функциональное

Pass / Fail

Нефункциональное

0% → 100%

разрешение ≠ 0x0 max = VGA

частота кадров ≠ 0 max = 15fps

битрейт 350kpbs ± 10%

качество кадра кадр существует PSNR илиSSIM значение


Баллы


Субъективное

тестирование


Эксперименты в видео лаборатории

Для разработки нового функционала

Пример: стоит ли применять скрытие ошибок?

Для настройки функций

Пример: какой компромисс между качеством видео и аудио на мобильных

устройствах?


SAMVIQ методологияSAMVIQ (subjective assessment methodology for video quality ITU-R BT.700).


Разделение для анализа результатов

Содержание:

• Сцены: статический бэкграунд, голова и плечи, динамичные сцены.

• Источник: веб камера в помещении, камера мобильного устройства.

Опыт испытателя:

• Не эксперт, аудио эксперт, видео эксперт, эксперт в аудио и видео


Результаты?


Обратная связь «реального мира»


• Mean Opinion Score (MOS):

оценка обычного пользователя

(шкала от 1 до 5)

• Статистика звонка,

тип сети, логи звонка

Что мы с этим делаем?

Аудио – широкополосный аудио кодек SILK дает звонки длиннее и с лучшими баллами


Сравнение субъективных тестов

Тестирование в лаборатории Обратная связь пользователей

Контролируемая среда Неконтролируемая среда

Функции в разработке Только выпущеный клиент

Быстрый оборотМедленное развертывание новых

конфигураций

Изолируемые функции Оценивается весь звонок

Абстрактная среда Оценка от конечного пользователя

Ограниченое количество тестов Миллионы испытателей


Выводы


Измерение качества видео

Метрики видео програмного обеспечения сложны и разнообразны

• Баланса параметров сложно достичь

• Тестирование происходит на многих уровнях

Объктивные оценки: автоматизируем

• e2e уровень интеграции: сценарии конечного пользователя

• Низшие уровни интеграции: более абстрактны, но дешевле и изолировано от других компонентов


Применение качества видео

Субъективные оценки: что действительно важно для пользователей

• Лабораторные экспериметны: настройки функций, контролируемые условия

• Обратная связь: живое впечатление, масштабно

Видео тестировщик ответственен за

• внедрение, интерпретацию результатов, их обобщение с результатами других команд

• … помощь в обеспечении качества видеозвонка завтрашнего дня


Q&A


Education

Тестирование IP видео на примере библиотеки Skype