Вопросы и ответы по AWS Device Farm

Сервис AWS Device Farm позволяет разработчикам улучшить качество приложений, сократить время выхода на рынок и повысить удовлетворенность пользователей путем тестирования приложений и взаимодействия с реальными устройствами с Android или iOS в облаке AWS. Разработчики могут загружать свои приложения и скрипты для тестирования и выполнять автоматизированные тесты параллельно на сотнях реальных устройств, получая результаты, снимки экрана, видео и показатели производительности за считанные минуты. Сервис также позволяет им заниматься отладкой и воспроизведением проблем пользователей, используя касания, жесты и другие способы взаимодействия с устройством через веб‑браузер.

Вопрос. Кому и в каких целях стоит использовать сервис AWS Device Farm?

Сервис AWS Device Farm предназначен для разработчиков, групп контроля качества и представителей служб поддержки пользователей, т. е. для специалистов, которые занимаются разработкой, тестированием и поддержкой мобильных приложений. Он помогает повысить качество приложений. Качеству приложений придается все большее значение, а достижение качества становится все более сложным из-за большого количества моделей устройств, вариантов прошивок и версий ОС, настроек операторов связи и производителей, а также в силу зависимости от удаленных сервисов и других приложений. Сервис AWS Device Farm позволяет ускорить процесс разработки путем выполнения тестов на множестве устройств, что дает разработчикам, специалистам служб контроля качества и служб поддержки возможность выполнять автоматизированные тесты и проверки вручную, например воспроизводить проблемы пользователей, исследовать новые функциональные возможности и выполнять программы ручного тестирования. Кроме того, сервис AWS Device Farm дает возможность значительно экономить средства, избавляя от необходимости поддерживать собственные лаборатории устройств, нанимать специалистов по управлению этими лабораториями и разрабатывать инфраструктуры автоматизации.

Вопрос. Какие типы приложений поддерживает сервис AWS Device Farm?

Сервис AWS Device Farm поддерживает нативные и гибридные приложения Android и iOS, интернет‑приложения, кросс‑платформенные приложения, включая приложения, созданные в PhoneGap, Titanium, Xamarin, Unity и других средах разработки.

Вопрос. Используются ли в сервисе AWS Device Farm симуляторы или эмуляторы?

Тесты AWS Device Farm проводятся на реальных устройствах. Перечень доступных устройств включает OEM‑устройства и устройства, выпущенные под брендами операторов связи.

Вопрос. Как начать работу с сервисом AWS Device Farm?

См. руководство по началу работы.

Вопрос. Какие браузеры поддерживает консоль AWS Device Farm?

AWS Device Farm работает в Internet Explorer 9 или более поздних версий, а также в Chrome, Firefox и Safari последних версий.

Вопрос. Какие браузеры поддерживаются при тестировании интернет-приложений?

При работе с Android тестирование интернет‑приложений выполняется в браузере Chrome, а при работе с iOS – в браузере Safari.

Вопрос. Каков максимально допустимый размер файлов для приложений и тестов?

Сервис AWS Device Farm поддерживает файлы размером до 4 ГБ.

Вопрос. Требуется ли специальная подготовка приложения или предоставление исходного кода?

Для использования встроенных тестов не требуется специальная подготовка приложения или предоставление исходного кода. Приложения для Android можно отправлять, не изменяя их. При компоновке приложения iOS в качестве целевого устройства необходимо указать «iOS Device», а не симулятор.

Вопрос. Хранятся ли мои приложения, тесты и другие файлы на ваших серверах? Если да, то в течение какого времени?

Приложения и тестовые пакеты автоматически удаляются через 30 дней. Журналы, видеозаписи и другие артефакты хранятся в течение 400 дней. Удалить файлы и результаты можно в любое время с помощью консоли или API AWS Device Farm.

Вопрос. Как выполняется очистка устройств после завершения тестирования?

После завершения тестирования на каждом устройстве выполняется ряд операций очистки, включая удаление приложений пользователя. Если нам не удастся проверить результат удаления приложения или выполнение любого из других этапов очистки, устройство будет полностью удалено и не будет использоваться в дальнейшем.

Мы продолжаем добавлять дополнительные этапы очистки и улучшать процесс очистки, однако сохраняется возможность того, что в некоторых случаях данные между сеансами будут сохраняться, особенно если система устройства используется за пределами контекста приложения. По этой причине, а также в связи с тем что сервис AWS Device Farm выполняет захват видео и ведет журналы действий, происходящих во время использования каждого из устройств, в ходе автоматического тестирования и сеансов удаленного доступа не рекомендуется вводить или предоставлять конфиденциальные данные, например информацию, касающуюся аккаунтов (аккаунта Google, Apple ID и др.), личные данные и другие сведения, имеющие отношение к безопасности.

Вопрос. Вносите ли вы изменения в приложение?

В iOS мы заменяем встроенный профиль подготовки профилем подстановки и повторно подписываем приложение. Если вы предоставите вспомогательные данные, мы добавим их к пакету приложения перед его установкой, и они будут присутствовать в изолированной среде приложения. В результате повторной подписи приложения iOS будут удалены некоторые права. Это касается следующих элементов: App Group, Associated Domains, Game Center, HealthKit, HomeKit, Wireless Accessory Configuration, In-App Purchase, Inter-App Audio, Apple Pay, Push Notifications и VPN Configuration & Control.

В Android мы повторно подписываем приложение. Это может привести к нарушению функциональных возможностей, которые зависят от подписи приложения, например повлиять на работу с API Google Maps для Android. Кроме того, это может привести к срабатыванию механизмов защиты от пиратства и взлома, например в продукте DexGuard. Для выполнения встроенных тестов мы можем изменить файл манифеста, чтобы добавить разрешения, необходимые для создания и сохранения снимков экрана.

Вопрос: Какие устройства доступны в сервисе AWS Device Farm? Как вы подбираете устройства для включения в список?

В сервисе AWS Device Farm представлен большой (и постоянно пополняемый) перечень устройств с Android, iOS и Fire OS. Мы добавляем новые популярные устройства по мере их выпуска производителями. Мы также добавляем новые устройства при выходе новых версий ОС. См. список доступных устройств.

Вопрос. Есть ли в сервисе AWS Device Farm устройства из других стран – Европы, Китая или Индии?

В настоящее время у нас имеются устройства из Индии. Мы используем статистику рынка и отзывы клиентов для постоянного обновления списка устройств. Если вы хотите, чтобы мы добавили в этот список дополнительные устройства, сообщите нам об этом.

Вопрос. Как выбрать устройства для тестирования? Можно ли выполнить повторное тестирование на том же устройстве?

Устройства для автоматизированного тестирования выбираются из набора, называемого пулом устройств. Некоторые специально отобранные пулы устройств предоставляются автоматически, но у вас есть возможность создавать и свои собственные пулы. Во время выполнения приложения тестирование будет происходить на всех устройствах выбранного пула, которые совместимы с вашим приложением и тестами. Для удаленного доступа вы можете выбрать необходимое устройство по типу, модели, модификации и версии операционной системы. Затем при необходимости вы можете загрузить приложения и другие данные, а также настроить конфигурацию устройства. Затем сервис Device Farm находит доступное устройство, соответствующее вашему запросу, и отображает дисплей устройства в браузере. После этого вы можете взаимодействовать с устройством, создавать и сохранять снимки экрана и видео.

Вопрос. Имеются ли на тестовых устройствах в сервисе AWS Device Farm какие‑либо предустановленные приложения?

Да, на тестовых устройствах есть ряд приложений, предварительно установленных производителем устройства или оператором связи.

Вопрос. Могут ли устройства взаимодействовать с другими сервисами или системами, доступными через Интернет?

Да. На всех устройствах имеется подключение Wi-Fi с доступом к Интернету. Если вы используете внутренние системы (т. е. защищенные корпоративным брандмауэром), внесите диапазон IP-адресов 54.244.50.32–54.244.50.63 в список доверенных. Весь трафик устройств будет поступать с этих IP‑адресов.

Вопрос. Можно ли проверить различные варианты и условия подключения к сети оператора связи?

Возможности проверить фактические варианты подключения к сети оператора связи нет, но для имитации разных типов соединений и условий можно воспользоваться функциональными возможностями моделирования конфигурации сети. При планировании запуска можно выбрать специально подобранный профиль сети, например «3G» или «Lossy LTE», либо создать свой собственный тип, управляя параметрами пропускной способности, джиттера и потерь. Весь трафик Wi-Fi, поступающий от устройства, будет видоизменен и обработан во время тестирования в соответствии с выбранным профилем. Кроме того, можно создавать имитацию динамичных сред, изменяя сетевые параметры в скриптах для тестирования.

Вопрос. Можно ли совершать телефонные звонки или отправлять SMS‑сообщения с тестовых устройств?

Нет, устройства не подключены к сетям операторов связи, поэтому с них невозможно совершать телефонные звонки или отправлять SMS‑сообщения.

Вопрос. Можно ли использовать камеру устройства?

Да, сервис позволяет использовать обе камеры устройства, как фронтальную, так и заднюю. С учетом условий фактического размещения устройств фотографии и видео могут быть темными и размытыми.

Вопрос: У меня еще нет скриптов для автоматизированного тестирования. Что можно сделать с помощью встроенных тестов?

Встроенный пакет тестирования совместимости позволяет устанавливать, удалять и запускать приложения, а также выполнять фаззинг‑тестирование приложения.

Вопрос. Для чего используется фаззинг?

Фаззинг (фаззинг‑тестирование) используется для тестирования пользовательского интерфейса приложения сразу после запуска. При этом быстро передаются потоки случайных данных, вводимых пользователем (касаний, смахиваний, ввода с клавиатуры), в ваше приложение. Вы можете настроить количество событий, задержку между событиями и начальное число, используемое при генерации случайных событий. Использование одинакового начального числа при разных запусках тестирования приведет к генерации одинаковой последовательности событий.

Вопрос. Я выполняю тестирование, используя автоматизированную среду. Какие фреймворки поддерживает сервис?

AWS Device Farm поддерживает тестирование нативных, гибридных и веб-приложений для платформ Android и iOS. По умолчанию поддерживаются следующие фреймворки: Appium Java JUnit, Appium Java TestNG, Appium Python, Appium Ruby, Appium NodeJS, Instrumentation (включая JUnit, Espresso и большинство инструментальных тестов) и XCTest (включая XCUI и KIF). Дополнительные сведения и полный список поддерживаемых платформ см. в нашей документации.

Вопрос. Какие тестовые среды поддерживаются для интернет‑приложений?

Сервис позволяет выполнять тесты, написанные с помощью Appium Java JUnit, Appium Java TestNG или Appium Python.

Вопрос. Можете ли вы добавить поддержку измененной среды или среды, которую я самостоятельно разработал?

Мы всегда производим оценку сред перед добавлением поддержки. Свяжитесь с нами.

Вопрос. Каким образом сервис AWS Device Farm принимает решение о том, в какой момент тестирования выполнять снимок экрана?

Если используется одна из поддерживаемых сред автоматизации, вы получаете полный контроль над ситуацией и можете решать, когда выполнять снимки экрана. Все снимки экрана будут автоматически включены в отчеты.

Вопрос. Доступны ли сервисы Google Play на устройствах Android? Какая версия установлена?

Да, сервисы Google Play установлены на тех устройствах, которые поддерживают их. Сервисы обновляются по мере выхода их новых версий.

Вопрос. Имеется ли на устройствах с Android аккаунт Google, используемый по умолчанию?

Нет, на устройствах нет активного аккаунта Google.

Вопрос. Поддерживает ли сервис AWS Device Farm автоматизированную запись и воспроизведение или требуется писать собственные скрипты?

Сервис AWS Device Farm поддерживает такие среды, как Espresso и Robotium, которые включают в себя инструменты для создания скриптов записи и воспроизведения.

Вопрос. Требуется ли в iOS добавлять идентификаторы UDID сервиса к профилю подготовки?

Нет, сервис AWS Device Farm автоматически заменяет профиль подготовки и повторно подписывает приложение, чтобы его можно было развернуть на наших устройствах.

Вопрос. Мое приложение для iOS не содержит отладочных символов. Можно ли предоставить сервису AWS Device Farm файл dSYM?

Нет, но вы можете скачать журналы и преобразовать отладочную информацию для стеков локально.

Вопрос. В моем приложении для Android используется обфускация. Можно ли тестировать его в сервисе AWS Device Farm?

Да, если вы используете ProGuard. Если для борьбы с пиратством вы используете решение DexGuard, мы не сможем изменить подпись приложения и выполнить его тестирование.

Вопрос. Мое приложение включает показ рекламы. Будет ли она отображаться на ваших устройствах? Не оценит ли мой поставщик рекламы такой показ как нарушение и не запретит ли дальнейшее использование моего аккаунта?

Несмотря на то что устройства имеют доступ к сети Интернет, мы не можем гарантировать, что рекламные объявления будут отображаться. Мы рекомендуем удалять рекламу из сборок, тестируемых в сервисе AWS Device Farm.

Вопрос. Можно ли в процессе тестирования получить доступ к компьютеру, к которому подключено устройство (или к его оболочке)? Можно ли выходить в Интернет с этого компьютера?

Да. Если вы используете клиент‑серверную среду, например Calabash, Appium или UI Automation, с компьютера, к которому подключено устройство, можно подключаться к Интернету и выполнять ограниченный перечень команд оболочки.

Вопрос. Мне необходимо предоставить своему приложению мультимедийные или другие данные. Как это сделать?

Вы можете предоставить архив в формате ZIP объемом до 4 ГБ. В Android он будет извлечен в корневой каталог внешней памяти, а в iOS – в изолированную среду вашего приложения. Файлы расширения (OBB) Android будут автоматически помещены в подходящую папку, которая соответствует используемой версии ОС. Подробные сведения см. в руководстве для разработчиков.

Вопрос. Для тестирования всех функциональных возможностей моего приложения требуются зависимые приложения. Можно ли устанавливать другие приложения?

Да, можно выбрать несколько приложений, а также порядок, в котором их необходимо установить. Указанные зависимые приложения будут установлены до начала тестирования.

Вопрос. Можно ли протестировать процесс обновления моего приложения? Как установить старую версию моего приложения?

Да, чтобы протестировать процесс обновления, можно загрузить и установить старую версию приложения перед установкой и тестированием новой версии.

Вопрос. Мое приложение использует сервисы определения местоположения. Можно ли указать физическое местоположение устройства?

Да, можно указать координаты широты и долготы, которые будут использоваться для переопределения GPS‑данных устройства.

Вопрос. Можно ли запускать тесты, связанные с локализацией? Как изменить язык устройства?

Да, можно указать язык (например, «en_US»), чтобы переопределить значение языка, используемое для устройства по умолчанию.

Вопрос. Сколько потребуется времени, чтобы запустить тесты?

Система немедленно помещает тесты в очередь на выполнение, и обычно тестирование начинается в течение нескольких минут. Если одно или несколько устройств недоступны, то задание, связанное с тестированием для этих устройств, будет оставаться в очереди, пока они не станут доступны. При этом тестирование на других доступных устройствах будет запущено сразу.

Вопрос. Каковы ограничения по максимальной продолжительности теста?

Максимально допустимая продолжительность теста составляет 150 минут. 

Вопрос. Позволяет ли сервис AWS Device Farm использовать API для выполнения тестов и получения результатов?

Да. В сервисе имеется подключаемый модуль для среды непрерывной интеграции Jenkins и подключаемый модуль Gradle, совместимый с Android Studio. Кроме того, в сервисе AWS Device Farm имеется программная поддержка всех возможностей консоли, в том числе настройки тестов и скачивания результатов выполнения тестов через API. Дополнительную информацию см. в справке по API сервиса AWS Device Farm. Помимо API для доступа к сервису AWS Device Farm можно использовать AWS SDK.

Вопрос. Что такое Selenium?

Selenium – это платформа с открытым исходным кодом, которая автоматизирует взаимодействие веб-браузеров. Вы можете узнать больше о Selenium здесь.

Вопрос. Как происходит тестирование в браузерах для настольных компьютеров в AWS Device Farm?

Device Farm позволяет выполнять тесты Selenium в разных браузерах для настольных компьютеров и с помощью разных версий браузеров, которые доступны в облаке AWS. Чтобы выполнить тестирование Selenium, Device Farm задействует ресурсы клиенты, то есть тесты проводятся на локальных машинах, но при этом с помощью Selenium API вы будете использовать браузеры, которые размешаются на AWS Device Farm.

Вопрос. Как начать тестирование в браузерах для настольных компьютеров в AWS Device Farm?

Ознакомьтесь с руководством по началу работы здесь.

Вопрос. Какие операционные системы используются для работы браузеров?

Все браузеры используют инстансы EC2 Windows, размещенные на Microsoft Windows Server.

Вопрос. Какие браузеры для настольных компьютеров поддерживает AWS Device Farm?

Список поддерживаемых браузеров для настольных компьютеров и их версий доступен здесь.

Вопрос. Какие возможности поддерживает AWS Device Farm?

Список возможностей Selenium, которые поддерживает Device Farm, доступен здесь.

Вопрос. Какие артефакты доступны для исправления ошибок во время тестирования?

Device Farm генерирует журналы консоли, журналы веб-драйверов, журналы операций, а также создает видеозаписи всего процесса тестирования. Все эти данные можно использовать для исправления ошибок во время тестов.

Вопрос.Можно ли использовать AWS Device Farm для тестирования веб-приложений с помощью реальных мобильных устройств?

Да. Device Farm поддерживает тестирование веб-приложений на реальных мобильных устройствах с помощью Appium. Ознакомьтесь с нашим руководством для разработчиков, чтобы узнать больше о тестировании веб-приложений с помощью Appium. Обратите внимание, что при тестировании с помощью реальных мобильных устройств Device Farm использует собственные ресурсы, поэтому вы должны загрузить свои тесты на серверы этого сервиса.

Вопрос. Какие ограничения существуют при тестировании с помощью браузеров для настольных компьютеров в AWS Device Farm?

Все ограничения при использовании этого сервиса опубликованы здесь.

Вопрос. Сколько стоит тестирование с помощью браузеров для настольных компьютеров в AWS Device Farm?

Плата начисляется поминутно на основании продолжительности тестирования на каждом выбранном инстансе для браузера. За каждую минуту использования инстанса для браузера будет взиматься 0,005 USD.

Вопрос. Что такое минута использования инстанса?

Минута использования инстанса – это единица тарификации для оплаты тестирования с помощью браузеров для настольных компьютеров в AWS Device Farm. С помощью минут использования инстанса измеряется продолжительность тестов для каждого инстанса, который вы выбрали для браузеров. Единица тарификации составляет 0,005 USD и является неизменной величиной, независимо от того, какой браузер или его версию вы используете. За время, которое требуется на запуск, инициализацию и выключение инстанса EC2, где размещен браузер, плата не взимается.