AWS Device Farm FAQ

AWS Device Farm은 개발자가 AWS 클라우드에서 실제 Android 및 iOS 디바이스를 테스트하고 상호 작용함으로써 애플리케이션 품질, 출시에 걸리는 시간 및 고객 만족도를 개선할 수 있도록 해줍니다. 개발자는 앱을 업로드하고, 스크립트를 테스트하고, 수백 개의 실제 디바이스에서 자동화된 테스트를 병렬로 실행하고, 몇 분 만에 결과, 스크린샷, 동영상 및 성능 데이터를 얻을 수 있습니다. 또한, 웹 브라우저에서 디바이스 밀기, 제스처 및 상호 작용을 통해 고객 문제를 디버깅하고 재현할 수 있습니다.

Q: AWS Device Farm은 누가 왜 사용해야 합니까?

AWS Device Farm은 모바일 앱을 구축, 테스트 및 지원하는 개발자, QA 팀 및 고객 지원 담당자가 앱 품질을 향상할 수 있도록 설계되었습니다. 디바이스 모델의 수, 펌웨어 및 OS 버전의 변형, 이동통신사업자 및 제조업체에 따른 사용자 지정, 원격 서비스 및 기타 앱에 대한 의존성 등으로 인해 애플리케이션 품질은 점점 더 중요해지고 또한 복잡해지고 있습니다. AWS Device Farm은 여러 디바이스에서 테스트를 실행하고, 개발자, QA 및 지원 전문가에게 고객 문제 재현, 새로운 기능의 예비 테스트 및 수동 테스트 계획 실행과 같은 수동 작업 및 자동화된 테스트를 수행할 수 있는 기능을 제공함으로써 개발 프로세스를 가속화합니다. 또한, 내부 디바이스 랩, 랩 관리자 및 자동화 인프라 개발이 필요 없어 상당한 비용을 절감할 수 있습니다.

Q: AWS Device Farm에서 지원하는 앱 유형에는 어떤 것이 있습니까?

AWS Device Farm에서는 네이티브와 하이브리드 Android, iOS 및 웹 앱을 지원하고, PhoneGap, Titanium, Xamarin, Unity 및 기타 프레임워크로 개발된 앱을 비롯한 교차 플랫폼 앱을 지원합니다.

Q: AWS Device Farm은 시뮬레이터 또는 에뮬레이터를 사용하나요?

AWS Device Farm 테스트는 실제 디바이스에서 실행됩니다. OEM 및 이동통신사업자의 디바이스가 사용됩니다.

Q: AWS Device Farm을 시작하려면 어떻게 해야 합니까?

시작 안내서를 참조하시기 바랍니다.

Q: AWS Device Farm 콘솔에서는 어떤 브라우저를 지원합니까?

AWS Device Farm은 Internet Explorer 9 이상과 Chrome, Firefox 및 Safari 최신 버전을 지원합니다.

Q: 웹 애플리케이션을 테스트하는 데 사용되는 브라우저에는 어떤 것이 있습니까?

웹 애플리케이션은 Android의 Chrome과 iOS의 Safari에서 테스트됩니다.

Q: 앱 및 테스트용 파일의 최대 크기는 어떻게 됩니까?

AWS Device Farm은 최대 4GB의 파일을 지원합니다.

Q: 앱을 변경하거나 소스 코드를 제공해야 합니까?

내장된 테스트를 사용하기 위해 앱을 변경하거나 소스 코드를 제공할 필요가 없습니다. Android 앱은 있는 그대로 제출하면 됩니다. iOS 앱은 시뮬레이터 대신 "iOS 디바이스"를 대상으로 구축되어야 합니다.

Q: AWS에서 앱, 테스트 및 다른 파일을 AWS 서버에 저장합니까? 얼마나 오랫동안 저장합니까?

앱 및 테스트 패키지는 30일 후에 자동으로 제거됩니다. 로그, 비디오 녹화 자료 및 기타 아티팩트는 400일 동안 저장됩니다. 또한, 언제든 AWS Device Farm 콘솔이나 API를 통해 파일과 결과를 삭제할 수 있습니다.

Q: 테스팅 완료 후 디바이스를 어떻게 정리합니까?

테스트 실행이 완료되면, 각 디바이스에 대해 앱 제거 등의 일련의 정리 작업을 수행합니다. 앱이 제거되었는지 확인할 수 없거나, 다른 정리 단계가 잘 수행되었는지 확인할 수 없는 경우, 디바이스를 제거하게 되며, 해당 디바이스는 더 이상 사용할 수 없게 됩니다.

계속적으로 정리 단계가 추가되고 있고 정리 프로세스가 개선되고 있긴 하지만, 일부의 경우, 특히 앱 사용 외에 다른 목적으로 디바이스 시스템을 사용하는 경우 세션 간에 데이터가 유지될 수 있습니다. 이러한 이유로, 또 AWS Device Farm이 비디오를 캡처하고 사용자가 각 디바이스를 사용하는 동안 발생하는 작업을 기록하기 때문에, 자동화된 테스트 및 원격 액세스 세션 동안에는 계정 정보(예: Google 계정, Apple ID), 개인 정보 및 다른 보안상 중요한 세부 정보를 제공하거나 입력하지 않는 것이 좋습니다.

Q: AWS에서 내 앱을 수정합니까?

iOS의 경우 AWS Device Farm에서 포함된 프로비저닝 프로파일을 와일드카드 프로파일로 대체한 후 앱을 다시 서명합니다. 개발자가 이를 제공하는 경우, AWS Device Farm에서 설치 전에 보조 데이터를 애플리케이션 패키지에 추가하여 보조 데이터가 앱의 샌드박스에 포함되도록 합니다. iOS 앱을 다시 서명하면 특정 자격이 삭제됩니다. 앱 그룹, 관련 도메인, 게임 센터, 헬스킷, 홈킷, 무선 액세서리 구성, 앱내 구매, 앱간 오디오, Apple Pay, 푸시 알림, VPN 구성 및 제어가 삭제 대상에 포함됩니다.

Android의 경우 AWS Device Farm에서 앱을 다시 서명합니다. 이로 인해 Google Maps, Android API 등 앱 서명에 종속된 기능이 손상될 수 있습니다. 또한, DexGuard와 같은 제품에 적용된 저작권 침해 방지 및 변조 방지에 대한 탐지가 트리거될 수 있습니다. 내장 테스트의 경우, 스크린샷을 캡처 및 저장하는 데 필요한 권한을 포함하기 위해 AWS에서 매니페스트를 수정할 수도 있습니다.

Q: AWS Device Farm에서 지원하는 디바이스에는 어떤 것이 있습니까? AWS에서는 추가할 디바이스를 어떻게 선택합니까?

AWS Device Farm에서는 다양한 Android, iOS 및 Fire OS 디바이스를 보유하고 있으며 디바이스 종류는 계속 늘어나고 있습니다. 제조업체에서 디바이스를 출시하는 대로 인기 있는 새로운 디바이스를 추가합니다. 또한, 새로운 OS 버전이 출시되면 새로운 디바이스를 추가합니다. 사용 가능한 디바이스 목록을 참조하시기 바랍니다.

Q: AWS Device Farm에서는 유럽, 중국, 인도 등의 국제 디바이스를 보유하고 있습니까?

현재 AWS에서는 인도의 국제 디바이스를 보유하고 있습니다. AWS에서는 시장 데이터와 고객 피드백에 따라 이를 계속 업데이트하고 있습니다. 목록에 없는 디바이스를 사용하고자 하는 경우, AWS에 문의해 주시기 바랍니다.

Q: 디바이스는 어떻게 선택하면 됩니까? 같은 디바이스에서 다시 테스트할 수 있습니까?

자동화된 테스트의 경우, 디바이스는 디바이스 풀이라고 부르는 모음에서 선택하게 됩니다. 일부 큐레이션된 디바이스 풀이 자동으로 제공되지만 자체 풀도 구성할 수 있습니다. 테스트는 지정된 풀에 있는 디바이스 중 애플리케이션 및 테스트와 호환되는 모든 디바이스에서 실행됩니다. 원격 액세스의 경우, 제조사, 모델, 이동통신사업자 변형 및 운영 시스템 버전에 따라 원하는 디바이스를 선택합니다. 그런 다음 선택적으로 앱과 기타 데이터를 업로드하고 다른 디바이스 설정을 구성할 수 있습니다. 그러면 Device Farm에서는 사용 가능한 디바이스 중 요청과 일치하는 디바이스를 찾아, 사용자의 브라우저에 디바이스의 화면을 표시합니다. 사용자는 디바이스와 상호 작용하고 스크린샷과 동영상을 캡처할 수 있습니다.

Q: AWS Device Farm 테스트 디바이스에 사전에 설치된 앱이 있습니까?

예. 테스트 디바이스에는 디바이스 제조업체 또는 이동통신사업자가 사전에 설치한 몇 가지 앱이 있습니다.

Q: 디바이스는 인터넷에서 사용할 수 있는 다른 서비스나 시스템과 통신할 수 있습니까?

예. 모든 디바이스에는 WiFi로 인터넷에 접속할 수 있는 기능이 있습니다. 사내 시스템을 사용하는 경우(회사 방화벽 내에 있는) IP 주소 54.244.50.32에서 54.244.50.63까지 허용할 수 있습니다. 모든 디바이스 트래픽은 해당 IP를 사용하게 됩니다.

Q: 다른 이동 통신망 연결과 상태를 테스트할 수 있습니까?

실제 이동 통신망 연결을 테스트할 수는 없지만, 네트워크 셰이핑 기능을 사용해 연결 유형과 조건을 시뮬레이션할 수는 있습니다. 실행 예약 시, "3G" 또는 "Lossy LTE"와 같이 큐레이션된 네트워크 프로파일을 선택하거나, 처리량, 지터, 손실과 같은 자체적인 제어 파라미터를 생성할 수 있습니다. 디바이스로부터 수신되는 모든 WiFi 트래픽은 선택한 프로파일에 따라 테스트 기간 동안 셰이프되고 조작됩니다. 또한, 테스트 스크립트의 네트워크 파라미터를 변경하여 동적 환경을 시뮬레이션할 수 있습니다.

Q: 디바이스에서 전화를 걸거나 SMS를 보낼 수 있습니까?

아니요. 디바이스는 이동 통신망과 연결되어 있지 않으므로 전화를 걸거나 SMS 메시지를 보낼 수 없습니다.

Q: 디바이스의 카메라를 사용할 수 있습니까?

예. 디바이스 전면 및 후면 카메라 모두 사용할 수 있습니다. 디바이스가 마운트된 방식으로 인해 이미지와 비디오가 어둡고 희미할 수도 있습니다.

Q: 아직 자동화된 테스트 스크립트가 없습니다. 내장 테스트로 무엇을 할 수 있습니까?

내장된 호환성 테스트 도구를 사용하면 앱에 Fuzz를 설치, 제거, 시작 및 실행할 수 있습니다.

Q: Fuzz는 어떤 역할을 합니까?

Fuzz는 앱이 시작된 직후에 UI에 fuzz 테스트를 수행합니다. Fuzz는 앱에 무작위 사용자 입력(터치, 쓸어넘기기, 키보드 입력)을 빠른 속도로 스트리밍합니다. 이벤트 수, 이벤트와 이벤트 사이의 시간, 무작위로 이벤트 순서를 정하기 위한 시드를 구성할 수 있습니다. 실행하는 테스트 전체에 같은 시드를 사용하면 모든 테스트에서 같은 순서로 이벤트가 수행됩니다.

Q: 자동화 프레임워크를 사용하여 테스트를 수행하고자 합니다. 지원되는 프레임워크에는 어떤 것이 있나요?

AWS Device Farm은 Android 및 iOS 플랫폼용 네이티브, 하이브리드 및 웹 앱에 대한 테스트를 지원합니다. 기본적으로 지원되는 프레임워크는 Appium Java JUnit, Appium Java TestNG, Appium Python, Appium Ruby, Appium NodeJS, Instrumentation(JUnit, Espresso 및 대부분의 계측 기반 테스트 포함)과 XCTest(XCUI 및 KIF 포함)입니다. 지원되는 프레임워크의 전체 목록과 자세한 내용은 설명서를 참조하세요.

Q: AWS에서 지원하는 웹 애플리케이션용 테스트 프레임워크에는 어떤 것이 있나요?

Appium Java JUnit, Appium Java TestNG 또는 Appium Python으로 작성된 테스트를 실행할 수 있습니다.

Q: AWS에서는 수정된 프레임워크 또는 내가 설계한 프레임워크에 대한 지원을 추가할 수 있습니까?

AWS에서는 지원할 프레임워크를 항상 평가하고 있습니다. AWS에 문의해 주십시오.

Q: AWS Device Farm에서는 테스트 도중 언제 스크린샷을 찍을지 어떻게 결정합니까?

지원되는 자동화 프레임워크를 사용하는 경우, 사용자가 모든 것을 제어하고 스크린샷을 찍을 시점을 결정할 수 있습니다. 이러한 스크린샷은 보고서에 자동으로 포함됩니다.

Q: Android: 테스트 디바이스에서 Google Play 서비스를 사용할 수 있습니까? 어떤 버전이 설치되어 있습니까?

예. Google Play 서비스는 지원하는 디바이스에 설치되어 있으며, 새로운 버전이 출시되면 업데이트됩니다.

Q: Android: 디바이스에 기본 Google 계정이 있습니까?

아니요. 디바이스에는 활성 Google 계정이 없습니다.

Q: AWS Device Farm에서는 기록 및 재생 자동화를 지원합니까? 아니면 내 스크립트를 작성해야 합니까?

AWS Device Farm에서는 Espresso 및 Robotium과 같은 기록 및 재생 스크립트 도구가 있는 프레임워크를 지원합니다.

Q: iOS: 내 프로비저닝 프로파일에 AWS의 UDID를 추가해야 합니까?

아니요. AWS Device Farm에서 프로비저닝 프로파일을 자동으로 교체하고 앱을 다시 서명하여 테스트 디바이스에 교체된 프로파일이 배포되도록 합니다.

Q: iOS: 내 앱은 디버그 기호를 포함하지 않습니다. AWS Device Farm에 dSYM 파일을 제공할 수 있습니까?

아니요. 하지만 로그를 다운로드하고 로컬에서 스택 추적을 기호화할 수 있습니다.

Q: Android: 내 앱은 난독화되어 있습니다. AWS Device Farm에서 해당 앱을 테스트할 수 있습니까?

예. ProGuard를 사용한 경우에는 가능합니다. 하지만 저작권 침해 방지 조치에 DexGuard를 사용한 경우, AWS Device Farm에서는 앱을 다시 서명하고 이에 대한 테스트를 실행할 수 없습니다.

Q: 내 앱은 광고를 제공합니다. 테스트 디바이스에 광고가 표시됩니까? 광고 제공업체가 이를 악용 사례로 간주하고 내 계정을 차단할까요?

디바이스에서 인터넷에 액세스할 수 있으나 광고가 표시되는지 여부는 보장할 수 없습니다. AWS Device Farm에서 테스트할 빌드에는 광고를 삭제할 것을 권장합니다.

Q: 디바이스를 호스팅하는 머신에 액세스하거나 테스트의 일부로 머신의 셸에 액세스할 수 있습니까? 머신에서 인터넷에 액세스할 수 있습니까?

예. Calabash, Appium 또는 UI Automation과 같은 클라이언트-서버 프레임워크를 사용하고 있다면 인터넷에 접속하여 호스트로부터 제한된 셸 명령을 실행할 수 있습니다.

Q: 내 앱에서 사용하도록 미디어 또는 다른 데이터를 제공하고 싶습니다. 어떻게 하면 됩니까?

최대 4GB까지 .zip 아카이브를 제공할 수 있습니다. 데이터는 Android의 경우 외부 메모리의 루트로, 그리고 iOS의 경우 앱의 샌드박스로 추출됩니다. Android 확장 파일(OBB)의 경우, OS 버전에 따라 적절한 장소에 파일이 자동으로 저장됩니다. 자세한 내용은 개발자 안내서를 참조하십시오.

Q: 내 앱의 모든 기능을 테스트하려면 종속 앱이 필요합니다. 다른 앱을 설치할 수 있습니까?

예. 여러 앱을 선택하고 앱이 설치될 순서를 선택할 수 있습니다. 이러한 종속 앱은 테스트가 시작되기 전에 설치됩니다.

Q: 앱의 업그레이드 흐름을 테스트할 수 있습니까? 앱의 이전 버전을 설치할 수 있습니까?

예. 업그레이드 흐름을 테스트하도록 새로운 버전이 설치 및 테스트되기 전에 앱의 이전 버전을 업로드하고 설치할 수 있습니다.

Q: 앱에서 위치 서비스를 사용합니다. 디바이스의 물리적 위치를 지정할 수 있습니까?

예. 디바이스의 GPS를 재정의하는 데 사용할 경도와 위도를 제공할 수 있습니다.

Q: 현지화 테스트를 실행할 수 있습니까? 디바이스의 언어를 어떻게 변경합니까?

예. 디바이스의 기본 로캘 설정을 재정의하도록 로캘(예: "ko_KR")을 제공할 수 있습니다.

Q: 테스트가 시작되기 전까지 시간이 얼마나 걸립니까?

테스트는 즉시 실행 대기열에 추가되고 일반적으로 몇 분 내에 시작됩니다. 하나 이상의 디바이스를 사용할 수 없는 경우, 해당 디바이스에 대한 테스트 실행은 디바이스를 사용할 수 있을 때까지 대기열에 유지됩니다. 다른 디바이스에서 실행되는 테스트는 계속 진행됩니다.

Q: 테스트 최대 허용 시간은 어떻게 됩니까?

테스트 최대 허용 시간은 150분입니다. 

Q: AWS Device Farm에서는 API를 통해 테스트를 실행하고 결과를 얻는 방법을 제공합니까?

예. Jenkins 연속 통합 환경을 위한 플러그인과 Android Studio와 호환되는 Gradle 플러그인이 있습니다. 또한, API를 통한 테스트 설정 및 테스트 결과 다운로드를 비롯해 모든 콘솔 기능에 대한 프로그래밍 방식을 지원합니다. 자세한 내용은 AWS Device Farm API Reference를 참조하십시오. API와 더불어 AWS SDK에서도 AWS Device Farm을 액세스할 수 있습니다.

Q: Selenium이란 무엇입니까?

Selenium은 웹 브라우저 상호 작용을 자동화하는 오픈 소스 프레임워크입니다. 여기에서 Selenium에 대해 자세히 알아볼 수 있습니다.

Q: AWS Device Farm에서 데스크톱 브라우저 테스트란 무엇입니까?

Device Farm을 사용하면 AWS 클라우드에서 호스팅되는 다른 데스크톱 브라우저 및 브라우저 버전에서 Selenium 테스트를 실행할 수 있습니다. Device Farm은 Selenium 테스트의 클라이언트 측 실행 모델을 따릅니다. 즉, 테스트는 자체 로컬 시스템에서 실행되지만 Selenium API를 통해 AWS Device Farm에서 호스팅된 브라우저와 상호 작용합니다.

Q: AWS Device Farm에서 데스크톱 브라우저 테스트를 시작하려면 어떻게 해야 합니까?

시작하려면 여기에서 시작 안내서를 참조하시기 바랍니다.

Q: 브라우저가 어떤 운영 체제에서 호스팅됩니까?

모든 브라우저는 Microsoft Windows Server에서 실행되는 EC2 Windows 인스턴스로 호스팅됩니다.

Q: AWS Device Farm에서 어떤 데스크톱 브라우저가 지원됩니까?

지원되는 데스크톱 브라우저 및 브라우저 버전 목록은 여기에서 볼 수 있습니다.

Q: AWS Device Farm은 필요한 어떤 기능을 지원합니까?

Device Farm이 지원하는 필요한 Selenium 기능 목록은 여기에서 볼 수 있습니다.

Q: 테스트 실패 문제 해결에 어떤 아티팩트를 사용할 수 있습니까?

Device Farm은 테스트 실패 문제 해결에 도움을 주기 위해 콘솔 로그, 웹 드라이버 로그, 작업 로그 및 전체 테스트의 비디오 녹화 자료를 제공합니다.

Q: 실제 모바일 디바이스에서 웹 앱을 테스트하기 위해 AWS Device Farm을 사용할 수 있습니까?

예. Device Farm은 Appium을 사용하여 실제 모바일 디바이스에서 웹 앱 테스트를 지원합니다. 자세한 내용은 Appium 웹 테스트의 개발자 안내서를 참조하십시오. 실제 모바일 디바이스에서 테스트 진행 시 Device Farm은 서버 측 실행 모델을 따르므로 테스트를 서비스에 업로드해야 합니다.

Q: AWS Device Farm에서 데스크톱 브라우저 테스트의 제한은 무엇입니까?

이 기능의 모든 제한은 여기에서 확인할 수 있습니다.

Q: AWS Device Farm에서 데스크톱 브라우저 테스트 요금은 어떻게 됩니까?

요금은 선택한 브라우저 인스턴스당 테스트 시간에 따라 결정되는 인스턴스 시간(분)을 기준으로 합니다. 브라우저 인스턴스 분당 0.005 USD가 청구됩니다.

Q: 인스턴스 분이란 무엇입니까?

인스턴스 분은 Device Farm의 데스크톱 브라우저 테스트에 대한 청구 단위입니다. 인스턴스 분은 테스트 실행을 위해 선택한 모든 브라우저 인스턴스에서 테스트를 실행하는 데 걸리는 시간(분)입니다. 단위 요금 0.005 USD는 선택한 브라우저 또는 브라우저 버전에 관계없이 일정합니다. 브라우저를 호스팅하는 EC2 인스턴스를 시작, 초기화 또는 해제하는 데 걸리는 시간에는 요금을 부과하지 않습니다.