Тестирование PhoneGap-приложений: специфика + опыт

Software quality assurance days

20 Международная конференция по вопросам качества ПОsqadays.com

Минск. 24–26 ноября 2016

Сергей Иванов Харьков, Украина

Тестирование PhoneGap-приложений: специфика + опыт

О чем пойдет речь

Виды кроссплатформенных приложений

Особенности Phonegap (и в целом HTML) приложений

К чему быть готовым при тестировании

Какие инструменты могут помочь

Пара слов про автоматизацию



Какие бывают?


Gamedev


Compile to Native

C++ Ruby or C# JS JS


Hybrid (HTML + JS)

http://propertycross.com/


Где можно пощупать и сравнить?

http://propertycross.com/


В чем соль?

?

Приложение работает в мини-браузере (webview)


WTFview?

iframe или вкладка браузера

И в нем приложение

Web-приложение

И скучно как-то


В чем соль?

Приложение работает в мини-браузере (webview),

но есть (ограниченный) доступ к Native API

Камера

Файловая система

Компас

GPS

Медиа

Уведомления

Cеть


Native API?

Акселерометр

Контакты

Сканер отпечатков пальцев

Любые. От простых до сложных.

Ограничение - плагины


Какие приложения возможны?


Подбор тестового окружения

SPA js приложение, работающее в специфическом браузере

(webview)Нативные плагины

Свежатина с приходом 7.0


Прекрасный мир webview на Android

Страх и ужас до 4.4

Немножкостабильности

и отладки с 4.4

Красота (нет!) начиная с 5.0

Android default (webkit)

Надстройки производителей

Нет возможности дебага


Android webviewS до 4.4

Одинаковое (почти) на разных девайсах (Chromium 30 on 4.4.0 – 4.4.2,

Chromium 33 on 4.4.3 – 4.4.4)

Можно подебажить

(chrome://inspect/#devices)


4.4 - now Chromium!

Android System WebView

Одинаковое (ну совсем почти) на всех девайсах

Внезапно обновляется и ломает что-то

Внезапно обновляется и чинит что-то

Можно подписаться на betа (на гугл акк)

Комменты :)


5.0 - auto updating

Берется напрямую из chrome.apkТ.е. зависит от версии хрома на девайсе

Можно брать из chrome dev или beta, выбирается в dev settings


7.0 - choose your own

Crosswalk project:

Одинаковое webview

+25 мб к apk

Незаменим для поддержки Android <4.4

Два apk (arm/Intel)


Сильно много? Упростим)

“The web has always been a second-class citizen on iOS (which is ironic, since the iPhone is largely responsible for the mobile web existing as it does today). UIWebView is massive and clunky and leaks memory. It lags behind Mobile Safari, which has the

benefit of the Nitro JavaScript engine.”


iOS до 8.0

UIWEBVIEW

Slow JS

Written by Mattt Thompson — August 24th, 2014

WKWebView

Быстрее, выше, сильнее (60FPS scrolling, поддержка жестов)

Обновляется с обновлением ОС

Минорные апдейты почти ничего не ломают

Мажорные - могут убить всё нафиг (iOS 9 App Transport Security)


iOS 8+


Совет

Читайте what’s new и смотрите betа

Краши, ANR, зависят от девайса - всё как всегда)


А нативные плагины?

Какие версии ОС поддерживаем?

Есть ли плагины?

В итоге выборка может быть существенно меньше, чем для натива,если мало используем system API, а webview - одинаковые


Выводы по тестовому окружению

В JS

Большая часть

В логике JS (не зависит от webview)

В работе JS в разных webview

Нет крашей

Есть “белый экран”


Какие ошибки могут быть?

● В HTML

○ Верстка

● В нативной части○ Меньшая часть

○ Краши

Опять плагин - NetworkStatus

Можем хранить данные в:

Файловой системе

Local storage


Ну и сеть, куда без нее


Ошибки поинтереснее-поспецифичнее


Скорость работы и плавность анимаций

Сильно зависит от девайса

Грустно-печальная не так хороша как в нативеHardware acceleration

Click vs touch

300 ms delay

Touchstart - touchend - 300 ms wait for tap - no tap -> click

UI изменяется -> ghostclick


Ghost clicks

Клавиатура - плагин)

Может вызвать window.resize


Инпуты + клавиатуры

В приложении реализуются посредством верстки (html/css)

1 CSS Pixel = ~1.5 Device Pixel (для High-DPI)

Проблемы с размерами отдельных элементов

(e.g. шрифтов)Сплеши, иконки приложения - через

config.xml


Различные разрешения/dpi


Галактеко опасносте!

Одно webview, вся навигация - внутри

iOS - только кнопки в приложении

А в Android есть Backдолжен возвращать на прошлый экран

(а не закрывать приложение)

должен закрывать приложение (а не делать ничего)


Навигация внутри приложения

Одно webview, вся навигация - внутри.

Что происходит при смене ориентации в Android?


Смена ориентации

Одно webview, вся навигация - внутри

Сложно вернуться на текущий скрин


Восстановление приложения

Скоро рассвет...


InAppBrowser


Что есть полезного?

Надо допиливать, но работать будут


Встраиваемые фреймворки-инструменты

Менее полезные


Инструменты для тестирования нативных

Пример: Logcat - краши редки -> информации мало, важнее - то, что в JS происходит

iOS:

xCode

Safari remote Debugging with Web Inspector


Debugging

Android:

Chrome remote Debugging (chrome://inspect)

Нет доступа к плагинам

Вообще не то webview где в итоге все будет работать


А еще можно поднять Web-версию

● Быстро

● Доступно

Но логику JS проверить можно)

Ну….есть ripple)

Вернее был)


Специальные инструменты

Доступные инструменты

собраны в одном месте

Удобненько

Mac’овские штучки под виндой


GapDebug


Пара слов об автоматизации

driver.switch_to.context(context_name)


Разбейте по уровням

* картинка с пирамидой уровней тестирования *

JS - автоматизируйте Web-версию с помощью Selenium. Быстрее, стабильнее.

Services - автоматизируйте с помощью soapUI или python + requests или что угодно.

Native - ручками


Такой себе последний слайд

WebView - своенравно

Платформы - разные

Развивается - быстро

Разделяйте native и JS части


Спасибо за внимание

[email protected]

Education

Тестирование PhoneGap-приложений: специфика + опыт