Amazon EC2 P3 인스턴스

강력한 GPU를 통해 기계 학습 및 고성능 컴퓨팅 애플리케이션을 가속화

Amazon EC2 P3 인스턴스는 머신러닝 및 HPC 애플리케이션을 위한 최대 100Gbps의 네트워킹 처리량과 최대 8개의 NVIDIA® V100 Tensor Core GPU를 통해 클라우드에서 고성능 컴퓨팅을 제공합니다. 이 인스턴스는 인스턴스 당 최대 1페타플롭의 혼합 정밀도 성능을 제공하여 기계 학습 및 고성능 컴퓨팅 애플리케이션을 크게 가속화합니다. Amazon EC2 P3 인스턴스는 머신 러닝 학습 시간을 며칠에서 몇 분으로 단축하고, 고성능 컴퓨팅을 위해 완료된 시뮬레이션 수를 3-4배 증가시키는 것이 입증되었습니다.
P3.16xlarge 인스턴스의 네트워크 대역폭이 최대 4배인 Amazon EC2 P3dn.24xlarge 인스턴스는 분산 머신러닝 및 HPC 애플리케이션에 최적화된 최신 P3 제품군 추가 기능입니다. 이 인스턴스는 최대 100Gbps의 네트워킹 처리 속도, 사용자 지정 방식의 Intel® Xeon® Scalable(Skylake) vCPU 96개, 각각 32GB의 메모리가 탑재된 NVIDIA® V100 Tensor Core GPU 8개, 그리고 1.8TB의 로컬 NVMe 기반 SSD 스토리지를 제공합니다.

기계 학습 교육으로 Amazon EC2 P3 인스턴스가 사용자를 지원하는 방법에 대해 알아보기

EC2_P3_Thumb

Amazon EC2 P3dn.24xlarge 소개 – 지금까지 가장 강력한 P3 인스턴스

분산 머신러닝 학습 및 고성능 컴퓨팅용으로 최적화됨

ReInvent_HA_P3_EDITORIAL

이점

기계 학습 교육 시간을 며칠에서 몇 분으로 단축

ML 애플리케이션의 속도로 높여야 하는 데이터 과학자, 연구원, 개발자를 위해 Amazon EC2 P3 인스턴스는 클라우드에서 ML 학습용으로 가장 빠릅니다. Amazon EC2 P3 인스턴스는 최대 8개의 최신 세대 NVIDIA Tesla V100 Tensor Core GPU를 갖추고 있으며 최대 1페타플롭의 혼합 정밀도 성능을 제공하여 ML 워크로드를 현격히 가속화합니다. 더 빠른 모델 교육을 통해 데이터 과학자와 기계 학습 엔지니어는 더 빠르게 반복하고, 더 많은 모델을 교육하며, 정확도를 높일 수 있습니다.

ML 학습을 위해 업계 최고의 경제성을 가진 솔루션

클라우드에서 가장 강력한 GPU 인스턴스 중 하나와 함께 유연한 요금제를 사용하면 머신러닝 학습을 위한 최고의 경제적인 솔루션이 탄생합니다. 일반 Amazon EC2 인스턴스와 마찬가지로, P3 인스턴스는 온디맨드 인스턴스, 예약 인스턴스, 스팟 인스턴스로 제공됩니다. 스팟 인스턴스는 사용하지 않는 EC2 인스턴스 용량을 활용함으로써 Amazon EC2 비용을 온디맨드 요금 대비 최대 70%까지 낮출 수 있습니다.

유연하고 강력한 고성능 컴퓨팅

온프레미스 시스템과는 달리 Amazon EC2 P3 인스턴스에서 고성능 컴퓨팅을 실행하면 인프라를 확장할 수 있는 거의 무제한의 용량과 리소스를 손쉽게 그리고 워크로드에 필요할 때마다 변경할 수 있는 유연성이 제공됩니다. 애플리케이션의 수요에 맞춰 리소스를 구성하고 몇 분 만에 HPC 클러스터를 시작하며 사용한 만큼만 비용을 지불할 수 있습니다.

즉시 구축 시작

사전에 패키징된 Docker 이미지를 사용하여 몇 분 만에 딥 러닝 환경을 배포할 수 있습니다. 이 이미지에는 필요한 딥 러닝 프레임워크 라이브러리(현재 TensorFlow 및 Apache MXNet)와 도구가 포함되어 있으며 모든 테스트를 거쳤습니다. 모니터링, 규정 준수 및 데이터 처리에 대한 높은 수준의 제어를 위해 이러한 이미지에 손쉽게 자체 라이브러리와 도구를 추가할 수 있습니다. 또한 Amazon EC2 P3 인스턴스는 Amazon SageMaker와 원활하게 연동되어 강력하고 직관적인 완벽한 기계 학습 플랫폼을 제공합니다. Amazon SageMaker는 기계 학습 모델을 빠르고 쉽게 구축, 교육 및 배포할 수 있도록 지원하는 완전관리형 기계 학습 플랫폼입니다. 또한 Amazon EC2 P3 인스턴스는 널리 사용되는 딥러닝 프레임워크를 통해 미리 설치되는 AWS Deep Learning Amazon 머신 이미지(AMI)와 통합할 수 있습니다. 따라서 기계 학습 교육과 추론을 빠르고 쉽게 시작할 수 있습니다.

확장 가능한 다중 노드 기계 학습 교육

최대 100Gps의 네트워킹 처리량까지 Amazon EC2 P3 인스턴스를 여러 개 사용하여 머신러닝 모델을 빠르게 학습시킬 수 있습니다. 네트워킹 처리량을 높이면 개발자가 데이터 전송 병목 현상을 제거하고 여러 P3 인스턴스에서 모델 학습 작업을 효율적으로 확장할 수 있습니다. 고객은 16개의 P3 인스턴스 모델을 사용하여 단 18분 만에 일반적인 이미지 분류 모델인 ResNet-50을 업계 표준으로 학습시킬 수 있습니다. 이전에는 온프레미스 GPU 클러스터를 구축하기 위해 막대한 자본 지출(CapEx) 비용이 필요했기 때문에 대부분의 ML 고객이 이러한 수준의 성능을 달성할 수 없었습니다. P3 인스턴스와 온디맨드 사용 모델을 통한 가용성을 기반으로, 이제는 모든 개발자와 기계 학습 엔지니어들이 이러한 수준의 성능을 이용할 수 있게 되었습니다.

모든 주요 기계 학습 프레임워크 지원

Amazon EC2 P3 인스턴스는 TensorFlow, PyTorch, Apache MXNet, Caffe, Caffe2, Microsoft Cognitive Toolkit(CNTK), Chainer, Theano, Keras, Gluon 및 Torch를 비롯한 모든 주요 기계 학습 프레임워크를 지원합니다. 그리고 애플리케이션에 가장 적합한 프레임워크를 선택할 수도 있습니다.

고객 성공 사례

200x100_AirBNB_Logo

Airbnb에서는 기계 학습을 사용하여 검색 추천을 최적화하고 호스트를 위한 동적 요금 지침을 개선하고 있으며, 이에 따라 예약 전환율이 개선되었습니다. Amazon EC2 P3 인스턴스를 사용함으로써 Airbnb는 학습 워크로드를 더 빠르게 실행하고, 더 많이 반복하며, 더 나은 머신러닝 모델을 구축하고, 비용을 절감할 수 있게 되었습니다.

salesforce_logo_200x100

Salesforce는 기계 학습을 사용하여 Einstein Vision을 지원하고 있으므로 개발자가 시각적 검색, 브랜드 탐지 및 제품 식별과 같은 사용 사례에 이미지 인식 기능을 활용할 수 있습니다. Amazon EC2 P3 인스턴스를 사용하면 개발자가 딥 러닝 모델을 훨씬 더 빠르게 교육하여 기계 학습 목표를 신속하게 달성할 수 있습니다.

western-digital_200x100

Western Digital은 HPC(고성능 컴퓨팅)를 사용해 수만 번의 재료 과학, 열 흐름, 마그네틱 및 데이터 전송 시뮬레이션을 실행하여 디스크 드라이브와 스토리지 솔루션 성능 및 품질을 개선합니다. 초기 테스트에 따르면 엔지니어링 팀은 Amazon EC2 P3 인스턴스를 사용하여 이전에 배포된 솔루션보다 최소한 3배 빠르게 시뮬레이션을 실행할 수 있습니다.  

schrodinger-200x100

Schrodinger는 HPC(고성능 컴퓨팅)을 사용하여 예측 모델을 개발함으로써 개발 및 최적화 범위를 확대하고 고객이 생명을 구할 수 있는 약품을 좀 더 빠르게 출시할 수 있도록 지원합니다. Amazon EC2 P3 인스턴스를 사용하면 Schrodinger가 P2 인스턴스를 사용할 때보다 하루에 4배 많은 시뮬레이션을 수행할 수 있습니다.  

Amazon EC2 P3 인스턴스와 Amazon SageMaker

기계 학습 모델을 교육 및 실행하는 가장 빠른 방법

Amazon SageMaker는 기계 학습 모델을 구축, 교육 및 배포할 수 있는 완전관리형 서비스입니다. Amazon EC2 P3 인스턴스와 함께 사용하면 고객이 수십, 수백 또는 수천 개의 GPU로 손쉽게 확장할 수 있으므로 클러스터와 데이터 파이프라인 설정에 대한 걱정 없이 모든 규모에서 모델을 신속하게 교육할 수 있습니다. 또한, Amazon Virtual Private Cloud(Amazon VPC) 리소스에 손쉽게 액세스하여 Amazon SageMaker에서 워크플로를 교육 및 호스팅할 수 있습니다. 이 기능을 사용하면 VPC를 통해서만 액세스 가능한 Amazon Simple Storage Service(Amazon S3) 버킷을 사용하여 학습 데이터를 저장하고 학습 프로세스에서 파생한 모델 아티팩트를 저장 및 호스팅할 수 있습니다. S3 외에도, 모델은 VPC 내에 포함된 다른 모든 AWS 리소스를 액세스할 수 있습니다. 자세히 알아보기.

구축

Amazon SageMaker를 사용하면 손쉽게 머신러닝 모델을 구축하고 학습시킬 수 있습니다. 학습 데이터에 빠르게 연결하며 애플리케이션을 위한 최상의 알고리즘 및 프레임워크를 선택 및 최적화하는 데 필요한 모든 것을 제공해 줍니다. Amazon SageMaker에는 호스팅되는 Jupyter 노트북이 포함되어 있으므로, Amazon S3에 저장된 학습 데이터를 손쉽게 탐색하고 시각화할 수 있습니다.  또한, 노트북 인스턴스를 사용해 코드를 작성하여 모델 교육 작업을 생성하고 Amazon SageMaker 호스팅으로 모델을 배포하고 모델을 테스트 또는 검증할 수 있습니다.

훈련

콘솔에서 클릭 한 번 또는 API 호출을 통해 모델 학습을 시작할 수 있습니다. Amazon SageMaker는 TensorFlow 및 Apache MXNet의 최신 버전이 사전에 구성되어 있으며 NVIDIA GPU에서 최적의 성능을 내는 CUDA9 라이브러리를 지원합니다. 또한, 하이퍼 파라미터 최적화 기능은 가장 정확한 예측에 신속하게 도달하도록 모델 파라미터의 서로 다른 조합을 지능적으로 조정하여 모델을 자동으로 튜닝할 수 있습니다. 더 큰 규모가 필요한 경우, 수십 개의 인스턴스로 확장하여 더 빠르게 모델을 구축하도록 지원할 수 있습니다.

배포

학습 후 클릭 한 번으로 여러 가용 영역의 Auto Scaling Amazon EC2 인스턴스로 모델을 배포할 수 있습니다. 프로덕션에 적용되면, Amazon SageMaker가 사용자를 대신하여 컴퓨팅 인프라를 관리하여 상태 확인을 수행하고, 보안 패치를 적용하며, 그 밖의 일상적 유지 관리를 수행합니다. 이 모두는 내장된 Amazon CloudWatch 모니터링 및 로깅 기능을 통해 이루어집니다.

 

Amazon EC2 P3 인스턴스와 AWS Deep Learning AMI

딥 러닝 애플리케이션 구축을 신속하게 시작할 수 있도록 사전에 구성된 개발 환경

좀 더 사용자 지정된 요구 사항이 있는 개발자를 위한 Amazon SageMaker의 대안인 AWS Deep Learning AMI는 기계 학습 전문가 및 연구원에게 규모와 관계없이 클라우드에서 딥 러닝을 가속화할 수 있는 인프라 및 도구를 제공합니다. TensorFlow, PyTorch, Apache MXNet, Microsoft Cognitive Toolkit, Caffe, Caffe2, Theano, Torch, Chainer, Gluon, Keras 등 인기 있는 딥 러닝 프레임워크가 사전 설치된 Amazon EC2 P3 인스턴스를 빠르게 시작하여, 정교한 사용자 지정 AI 모델을 학습하거나 새 알고리즘을 실험하거나 새로운 기술과 기법을 배울 수 있습니다. 자세히 알아보기

Amazon EC2 P3 인스턴스와 고성능 컴퓨팅

AWS에서 HPC 기능을 사용하여 대규모 컴퓨팅 문제를 해결하고 새로운 통찰력을 확보하십시오

Amazon EC2 P3 인스턴스는 엔지니어링 시뮬레이션, 컴퓨팅 금융, 내직 해석, 분자 모델링, 유전체학, 렌더링 및 기타 GPU 컴퓨팅 워크로드를 실행하기에 적합한 플랫폼입니다. HPC(고성능 컴퓨팅)를 사용하면 과학자와 엔지니어가 이러한 복잡하고 컴퓨팅 집약적인 문제를 해결할 수 있습니다. HPC 애플리케이션에는 뛰어난 네트워크 성능, 빠른 스토리지, 대용량 메모리, 뛰어난 컴퓨팅 성능 또는 이 모든 성능이 필요할 때가 많습니다. AWS를 사용하면 클라우드에서 HPC를 실행하고 대부분 온프레미스 환경에서는 실용적이지 않았을 다수의 병렬 작업으로 확장함으로써 연구 속도를 높이고 결과를 얻을 때까지 걸리는 시간을 단축할 수 있습니다. AWS는 대규모 자본을 투자하지 않아도 특정 애플리케이션에 최적화된 솔루션을 제공하므로 비용 절감에 도움이 됩니다. 자세히 알아보기

Amazon EC2 P3dn.24xlarge 인스턴스

Distributed Machine Learning 및 고성능 컴퓨팅에 최적화되어 더욱 빠르고 강력할 뿐만 아니라 크기까지 커진 새로운 인스턴스

Amazon EC2 P3dn.24xlarge 인스턴스는 가장 빠르고 강력할 뿐만 아니라 크기까지 가장 큰 P3 인스턴스로서 최대 100Gbps의 네트워킹 처리 속도, 각각 32GB의 메모리가 탑재된 NVIDIA® V100 Tensor Core GPU 8개, 사용자 지정 방식의 Intel® Xeon® Scalable (Skylake) vCPU 96개, 그리고 1.8TB의 로컬 NVMe 기반 SSD 스토리지를 제공합니다. 더 빠른 네트워킹, 새로운 프로세서, 2배로 늘어난 GPU 메모리, 추가 vCPU를 통해 개발자는 여러 인스턴스 (예: 인스턴스 16개, 32개 또는 64개)에 걸쳐 작업을 확장함으로써 ML 모델을 트레이닝하는 데 걸리는 시간을 대폭 단축하거나 더 많은 HPC 시뮬레이션을 실행할 수 있습니다. 머신러닝 모델은 학습을 위해 많은 양의 데이터가 필요하고, 인스턴스 간의 데이터 전달 처리량 향상 외에도, Amazon S3 또는 Amazon EFS와 같은 공유 파일 시스템 솔루션에 연결하여 대량의 학습 데이터에 대한 액세스 속도를 높이기 위해 P3dn.24xlarge 인스턴스의 네트워크 처리량이 추가로 사용될 수 있습니다.

병목 현상 제거 및 머신러닝 학습 시간 단축

100Gbps의 네트워킹 처리량을 통해 개발자들은 분산 학습에 많은 수의 P3dn.24xlarge 인스턴스(예: 16, 32, 64개 인스턴스)를 효율적으로 사용하여 모델 학습 시간을 상당히 단축할 수 있습니다. AWS 커스텀 Intel Skylake 프로세서의 96vCPU와 2.5GHz에서 작동하는 AVX-512 명령은 데이터 전처리 최적화를 지원합니다. 또한 P3dn.24xlarge 인스턴스는 전용 하드웨어 및 경량 하이퍼바이저가 결합된 AWS Nitro 시스템을 기반으로 하는데, 이 하이퍼바이저가 인스턴스에 호스트 하드웨어의 컴퓨팅 및 메모리 리소스를 거의 모두 제공합니다.

 

GPU 사용률을 최적화하여 TCO 절감

총 네트워크 대역폭이 최대 100Gbps인 Elastic Network Adapter의 최신 버전을 사용하는 향상된 네트워킹을 사용하여 여러 P3dn.24xlarge 인스턴스에서 데이터를 공유할 수 있을 뿐 아니라, Amazon S3 또는 공유 파일 시스템 솔루션(Amazon EFS 등)을 통해 높은 처리량의 데이터 액세스에도 사용할 수 있습니다. 고성능 데이터 액세스는 GPU의 사용률을 최적화하고 컴퓨팅 인스턴스의 최대 성능을 제공하는 데 중요합니다.

보다 크고 복잡한 모델 지원

P3dn.24xlarge 인스턴스는 각각 32GB의 메모리가 탑재된 NVIDIA V100 Tensor Core GPU를 제공하기 때문에 더욱 크고 복잡한 기계 학습 모델을 트레이닝할 뿐만 아니라 이미지 분류 및 객체 감지 시스템에 사용되는 4k 이미지 같은 대용량 데이터 배치를 처리하는 데 따른 유연성을 보장합니다.

 

Amazon EC2 P3 인스턴스 제품 세부 정보

인스턴스 크기 GPU – Tesla V100 GPU 피어 투 피어 GPU 메모리(GB) vCPU(Virtual CPU) 메모리(GB) 네트워크 대역폭 EBS 대역폭 온디맨드 요금/시간* 1년 약정 예약 인스턴스 실질 시간당* 3년 약정 예약 인스턴스 실질 시간당*
p3.2xlarge 1 해당 사항 없음 16 8 61 최대 10Gbps 1.5Gbps 3.06 USD 1.99 USD 1.05 USD
p3.8xlarge 4
NVLink 64 32 244 10Gbps 7Gbps 12.24 USD 7.96 USD 4.19 USD
p3.16xlarge 8 NVLink 128 64 488 25Gbps 14Gbps 24.48 USD 15.91 USD 8.39 USD
p3dn.24xlarge 8 NVLink 256 96 768 100Gbps 14Gbps 31.218 USD 18.30 USD 9.64 USD

위의 요금은 미국 동부 (버지니아 북부) AWS 리전의 Linux/Unix에 적용되며, 가장 가까운 센트로 반올림됩니다. 전체 요금 내역은 Amazon EC2 요금 페이지를 참조하십시오.

고객은 온디맨드 인스턴스, 예약 인스턴스, 스팟 인스턴스 및 전용 호스트로 P3 인스턴스를 구입할 수 있습니다.

초 단위로 청구

클라우드 컴퓨팅의 많은 장점 중 하나가 필요에 따라 리소스를 프로비저닝 또는 디프로비저닝할 수 있는 탄력성입니다. 초 단위까지 사용량을 청구함으로써 고객이 탄력성을 강화하고 비용을 절감하며 기계 학습 목표 달성을 위해 리소스 할당을 최적화하도록 지원합니다.

예약 인스턴스 요금

예약 인스턴스는 온디맨드 인스턴스 요금에 비해 상당한 할인 혜택(최대 75%)을 제공합니다. 또한, 예약 인스턴스를 특정 가용 영역에 지정하면 용량 예약이 제공되므로 필요할 때 예약한 인스턴스를 시작할 수 있다는 확신을 가질 수 있습니다.

스팟 요금

스팟 인스턴스를 사용하면, 인스턴스가 실행되는 기간 동안 유효한 스팟 가격이 적용됩니다. 스팟 인스턴스 가격은 Amazon EC2에서 정하고, 스팟 인스턴스 용량의 장기적인 공급 수요 추세에 따라 점진적으로 조정됩니다. 스팟 인스턴스는 온디맨드 요금과 비교하여 최대 90%까지 할인된 금액으로 사용할 수 있습니다.

가장 광범위한 글로벌 가용성

1856-Updated Map Image-P3 Instances-transparentBG_1024x543

Amazon EC2 P3.2xlarge, P3.8xlarge, P3.16xlarge 인스턴스는 14개 AWS 리전에서 사용할 수 있으므로 고객은 데이터가 저장된 곳 어디서나 유연하게 기계 학습 모델을 교육 및 배포할 수 있습니다. P3는 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오레곤), 캐나다(중부), 유럽(아일랜드), 유럽(프랑크푸르트), 유럽(런던), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(시드니), 아시아 태평양(싱가포르), 중국(베이징), 중국(닝샤) 및 AWS GovCloud(US) AWS 리전에서 사용할 수 있습니다.

P3dn.24xlarge 인스턴스는 유럽(아일랜드), 미국 동부(버지니아 북부) 및 미국 서부(오레곤) AWS 지역에서 사용할 수 있습니다.

기계 학습을 위해 Amazon EC2 P3 인스턴스 시작하기

몇 분 만에 빠르게 시작하려면 Amazon SageMaker에 대해 자세히 알아보거나 Caffe2 및 MXNet과 같은 인기 있는 딥 러닝 프레임워크가 사전 설치된 AWS Deep Learning AMI를 사용하십시오. 아니면, 사전에 설치된 GPU 드라이버와 CUDA 도구 키트가 포함된 NVIDIA AMI를 사용할 수도 있습니다.

블로그 및 웹 세미나

amrraga
 
Amr Ragab, Chetan Kapoor, Rahul Huilgol, Jarvis Lee, Tyler Mullenbach, Yong Wu
2018년 7월 20일
aaron-markham-100x100-gray
 
Aaron Markham
2018년 12월 17일
 
Brent Langston
 
Brent Langston
2019년 2월 13일
Webinar-thumb1

방송 날짜: 2018년 12월 19일

레벨: 200

컴퓨터 비전에서는 디지털 이미지나 비디오에서 높은 수준의 이해도를 달성하기 위해 컴퓨터를 학습시키는 방법을 다룹니다. 컴퓨터 비전의 역사는 1960년대로 거슬러 올라가지만, 최근 처리 기술의 발전으로 인해 자율 주행 자동차의 내비게이션과 같은 애플리케이션이 가능해졌습니다. 이번 Tech talk에서는 컴퓨터에 비전에 대한 기계 학습 모델을 구축하고 학습하고 배포하는 데 필요한 다양한 단계를 검토합니다. 그리고 다양한 Amazon EC2 인스턴스를 사용하여 컴퓨터 비전 모델 학습을 비교/대조하고 Amazon EC2 P3 인스턴스를 사용하여 얼마나 많은 시간을 절약할 수 있는지 알아봅니다.

Webinar-thumb2

방송 날짜: 2018년 7월 31일

레벨 200

첨단 과학, 에너지, 고급 기술, 의료 분야에서 기하급수적으로 늘어나는 복잡한 질문들로 조직은 큰 골치를 앓고 있습니다. ML(기계 학습)을 사용하면 이미지, 비디오, 음성 인식에서 자율 주행 자동차와 날씨 예측에 이르기까지 수많은 시나리오를 빠르게 탐색하고 최상의 답변을 생성할 수 있습니다. ML 애플리케이션 개발 속도를 높이길 원하는 데이터 과학자, 연구원 및 개발자에게 Amazon EC2 P3 인스턴스는 클라우드에서 사용할 수 있는 가장 강력하고 비용 효율적이며 다재다능한 GPU 컴퓨팅입니다.

시작할 준비가 되셨습니까?
가입하기
추가 질문이 있으십니까?
AWS에 문의