Amazon EC2 P3 인스턴스

강력한 GPU를 통해 기계 학습 및 고성능 컴퓨팅 애플리케이션을 가속화

Amazon EC2 P3 인스턴스는 기계 학습 애플리케이션과 HPC 애플리케이션에서 최대 8개의 NVIDIA® V100 Tensor Core GPU와 100Gbps의 네트워킹 처리 속도로 높은 성능의 클라우드 컴퓨팅을 구현합니다. 이 인스턴스는 인스턴스 당 최대 1페타플롭의 혼합 정밀도 성능을 제공하여 기계 학습 및 고성능 컴퓨팅 애플리케이션을 크게 가속화합니다. Amazon EC2 P3 인스턴스는 기계 학습 트레이닝 시간을 일 단위에서 분 단위로 단축할 뿐만 아니라 고성능 컴퓨팅에 대해 완료할 수 있는 시뮬레이션 수를 3~4배까지 늘리는 것으로 입증되었습니다.
P3.16xlarge 인스턴스 네트워크 대역폭의 최대 4배에 달하는 Amazon EC2 P3dn.24xlarge 인스턴스는 분산형 기계 학습 및 HPC 애플리케이션에 최적화된 P3 패밀리에 마지막으로 추가됩니다. 이 인스턴스는 최대 100Gbps의 네트워킹 처리 속도, 사용자 지정 방식의 Intel® Xeon® Scalable (Skylake) vCPU 96개, 각각 32GB의 메모리가 탑재된 NVIDIA® V100 Tensor Core GPU 8개, 그리고 1.8TB의 로컬 NVMe 기반 SSD 스토리지를 제공합니다.

Amazon EC2 P3dn.24xlarge 소개 – 지금까지 가장 강력한 P3 인스턴스

분산형 기계 학습 트레이닝 및 고성능 컴퓨팅에 최적화됨

ReInvent_HA_P3_EDITORIAL

장점

기계 학습 트레이닝 시간을 일 단위에서 분 단위로 단축

ML 애플리케이션 속도를 높여야 하는 데이터 과학자, 연구원 및 개발자에게 Amazon EC2 P3 인스턴스는 클라우드에서 ML 트레이닝 속도가 가장 빠릅니다. Amazon EC2 P3 인스턴스는 최대 8개의 최신 세대 NVIDIA V100 Tensor Core GPU를 갖추고 있으며 최대 1페타플롭의 혼합 정밀도 성능을 제공하여 ML 워크로드를 현격히 가속화합니다. 더 빠른 모델 트레이닝을 통해 데이터 과학자와 기계 학습 엔지니어는 더 빠르게 반복하고, 더 많은 모델을 트레이닝하며, 정확도를 높일 수 있습니다.

업계에서 가장 비용 효율적인 ML 트레이닝 솔루션

유연한 요금 플랜까지 더해져 클라우드에서 가장 강력한 GPU 인스턴스 중 하나가 비용 효율이 매우 우수한 기계 학습 트레이닝 솔루션으로 거듭나고 있습니다. 일반적으로 Amazon EC2 인스턴스가 그렇듯이 P3 인스턴스는 온디맨드 인스턴스, 예약 인스턴스 또는 스팟 인스턴스로 사용됩니다. 스팟 인스턴스는 미사용 EC2 인스턴스 용량을 이용하기 때문에 Amazon EC2 비용을 크게 떨어뜨려 온디맨드 인스턴스 요금보다 최대 70%까지 할인이 가능합니다.

유연하고 강력한 고성능 컴퓨팅

온프레미스 시스템과는 달리 Amazon EC2 P3 인스턴스에서 고성능 컴퓨팅을 실행하면 인프라를 확장할 수 있는 거의 무제한의 용량과 리소스를 손쉽게 그리고 워크로드에 필요할 때마다 변경할 수 있는 유연성이 제공됩니다. 애플리케이션의 수요에 맞춰 리소스를 구성하고 몇 분 만에 HPC 클러스터를 시작하며 사용한 만큼만 비용을 지불할 수 있습니다.

AWS 기계 학습 서비스의 통합

Amazon EC2 P3 인스턴스는 Amazon SageMaker와 원활하게 연동되어 강력하고 직관적인 완벽한 기계 학습 플랫폼을 제공합니다. Amazon SageMaker는 기계 학습 모델을 빠르고 쉽게 개발하여 트레이닝한 후 배포할 수 있도록 지원하는 완전 관리형 기계 학습 플랫폼입니다. 그 밖에 Amazon EC2 P3 인스턴스는 인기 있는 딥 러닝 프레임워크가 사전 설치된 AWS Deep Learning Amazon 머신 이미지(AMI)와 통합되기도 합니다. 기계 학습 트레이닝 및 추론을 더욱 빠르고 쉽게 시작할 수 있는 이유도 바로 여기에 있습니다.

모든 주요 기계 학습 프레임워크 지원

Amazon EC2 P3 인스턴스는 TensorFlow, PyTorch, Apache MXNet, Caffe, Caffe2, Microsoft Cognitive Toolkit(CNTK), Chainer, Theano, Keras, Gluon, Torch 등 모든 주요 기계 학습 프레임워크를 지원합니다. 따라서 자신의 애플리케이션에 가장 적합한 프레임워크를 유연하게 선택할 수 있습니다.

확장 가능한 다중 노드 기계 학습 트레이닝

네트워킹 처리 속도가 최대 100Gbps에 이르는 다수의 Amazon EC2 P3 인스턴스를 사용해 기계 학습 모델의 트레이닝 속도를 더욱 높일 수 있습니다. 네트워크 처리 속도가 높을수록 데이터 전송에 따른 병목 현상이 사라질 뿐만 아니라 모델 트레이닝 작업을 다수의 P3 인스턴스로 효과적으로 확장할 수 있습니다. 이제 고객들은 P3 인스턴스 16개를 사용하면 공통 이미지 분류 모델인 ResNet-50을 불과 18분만에 업계 표준 정확도까지 트레이닝할 수 있게 되었습니다. 이전에는 온프레미스 GPU 클러스터를 구축하려면 대규모의 CapEx 투자가 필요했기 때문에 ML 고객들은 대부분 이러한 수준까지 성능을 끌어올리지 못했습니다. 하지만 P3 인스턴스와 온디맨드 사용 모델을 통한 P3 인스턴스의 가용성 덕분에 개발자를 비롯한 기계 학습 엔지니어라면 누구나 이러한 수준의 성능을 기대할 수 있습니다.

고객 성공 사례

200x100_AirBNB_Logo

Airbnb에서는 기계 학습을 사용하여 검색 추천을 최적화하고 호스트를 위한 동적 요금 지침을 개선하고 있으며, 이에 따라 예약 전환율이 개선되었습니다. Amazon EC2 P3 인스턴스를 사용함으로써 Airbnb는 트레이닝 워크로드를 더 빠르게 실행하고, 더 많이 반복하며, 더 나은 기계 학습 모델을 구축하고, 비용을 절감할 수 있게 되었습니다.

salesforce_logo_200x100

Salesforce는 기계 학습을 사용하여 Einstein Vision을 지원하고 있으므로 개발자가 시각적 검색, 브랜드 탐지 및 제품 식별과 같은 사용 사례에 이미지 인식 기능을 활용할 수 있습니다. Amazon EC2 P3 인스턴스를 사용하면 개발자가 딥 러닝 모델을 훨씬 더 빠르게 교육하여 기계 학습 목표를 신속하게 달성할 수 있습니다.

western-digital_200x100

Western Digital은 HPC(고성능 컴퓨팅)를 사용해 수만 번의 재료 과학, 열 흐름, 마그네틱 및 데이터 전송 시뮬레이션을 실행하여 디스크 드라이브와 스토리지 솔루션 성능 및 품질을 개선합니다. 초기 테스트에 따르면 엔지니어링 팀은 Amazon EC2 P3 인스턴스를 사용하여 이전에 배포된 솔루션보다 최소한 3배 빠르게 시뮬레이션을 실행할 수 있습니다.  

schrodinger-200x100

Schrodinger는 HPC(고성능 컴퓨팅)을 사용하여 예측 모델을 개발함으로써 개발 및 최적화 범위를 확대하고 고객이 생명을 구할 수 있는 약품을 좀 더 빠르게 출시할 수 있도록 지원합니다. Amazon EC2 P3 인스턴스를 사용하면 Schrodinger가 P2 인스턴스를 사용할 때보다 하루에 4배 많은 시뮬레이션을 수행할 수 있습니다.  

Amazon EC2 P3 인스턴스와 Amazon SageMaker

기계 학습 모델을 교육 및 실행하는 가장 빠른 방법

Amazon SageMaker는 기계 학습 모델을 구축, 교육 및 배포할 수 있는 완전관리형 서비스입니다. Amazon EC2 P3 인스턴스와 함께 사용하면 고객이 수십, 수백 또는 수천 개의 GPU로 손쉽게 확장할 수 있으므로 클러스터와 데이터 파이프라인 설정에 대한 걱정 없이 모든 규모에서 모델을 신속하게 트레이닝할 수 있습니다. 또한 Amazon SageMaker의 트레이닝 및 호스팅 워크플로에 필요한 Amazon Virtual Private Cloud(Amazon VOC) 리소스에도 쉽게 액세스할 수 있습니다. 이 기능을 사용하면 VPC를 통해서만 액세스 가능한 Amazon Simple Storage Service(Amazon S3) 버킷을 사용하여 트레이닝 데이터를 저장하고 트레이닝 프로세스에서 파생한 모델 아티팩트를 저장 및 호스팅할 수 있습니다. S3 외에도, 모델은 VPC 내에 포함된 다른 모든 AWS 리소스를 액세스할 수 있습니다. 자세히 알아보기.

개발

Amazon SageMaker는 기계 학습 모델을 손쉽게 개발하여 트레이닝할 수 있도록 지원합니다. 트레이닝 데이터를 빠르게 연결한 후 애플리케이션에 가장 적합한 알고리즘과 프레임워크를 선택하여 최적화하는 데 필요한 모든 것을 제공합니다. Amazon SageMaker에는 호스팅된 Jupyter 노트북이 포함되어 있으므로, Amazon S3에 저장된 훈련 데이터를 손쉽게 탐색하고 시각화할 수 있습니다.  또한, 노트북 인스턴스를 사용해 코드를 작성하여 모델 교육 작업을 생성하고 Amazon SageMaker 호스팅으로 모델을 배포하고 모델을 테스트 또는 검증할 수 있습니다.

트레이닝

콘솔에서 클릭 한 번 또는 간단한 API 호출을 통해 모델 트레이닝을 시작할 수 있습니다. Amazon SageMaker는 TensorFlow 및 Apache MXNet의 최신 버전이 사전에 구성되어 있으며 NVIDIA GPU에서 최적의 성능을 내는 CUDA9 라이브러리를 지원합니다. 또한, 하이퍼 파라미터 최적화 기능은 가장 정확한 예측에 신속하게 도달하도록 모델 파라미터의 서로 다른 조합을 지능적으로 조정하여 모델을 자동으로 튜닝할 수 있습니다. 더 큰 규모가 필요한 경우, 수십 개의 인스턴스로 확장하여 더 빠르게 모델을 구축하도록 지원할 수 있습니다.

배포

트레이닝 후에는 모델을 클릭 한 번으로 여러 가용 영역의 Auto-Scaling Amazon EC2 인스턴스에 배포할 수 있습니다. 프로덕션 단계에서는 Amazon SageMaker가 사용자를 대신하여 컴퓨팅 인프라를 관리하여 상태 확인을 수행하고, 보안 패치를 적용하며, 그 밖의 일상적 유지 관리를 수행합니다. 이 모두는 내장된 Amazon CloudWatch 모니터링 및 로깅 기능을 통해 이루어집니다.

 

Amazon EC2 P3 인스턴스와 AWS Deep Learning AMI

딥 러닝 애플리케이션 구축을 신속하게 시작할 수 있도록 사전에 구성된 개발 환경

좀 더 사용자 지정된 요구 사항이 있는 개발자를 위한 Amazon SageMaker의 대안인 AWS Deep Learning AMI는 기계 학습 전문가 및 연구원에게 규모와 관계없이 클라우드에서 딥 러닝을 가속화할 수 있는 인프라 및 도구를 제공합니다. TensorFlow, PyTorch, Apache MXNet, Microsoft Cognitive Toolkit, Caffe, Caffe2, Theano, Torch, Chainer, Gluon, Keras 등 인기 있는 딥 러닝 프레임워크가 사전 설치된 Amazon EC2 P3 인스턴스를 빠르게 시작하여, 정교한 사용자 지정 AI 모델을 트레이닝하거나, 새로운 알고리즘을 실험하거나, 새로운 기술과 기법을 배울 수 있습니다. 자세히 알아보기

Amazon EC2 P3 인스턴스와 고성능 컴퓨팅

AWS에서 HPC 기능을 사용하여 대규모 컴퓨팅 문제를 해결하고 새로운 통찰력을 확보하십시오

Amazon EC2 P3 인스턴스는 엔지니어링 시뮬레이션, 계산 재무, 내진 해석, 분자 모델링, 유전체학, 렌더링 및 기타 GPU 컴퓨팅 워크로드를 실행하기에 적합한 플랫폼입니다. HPC(고성능 컴퓨팅)를 사용하면 과학자와 엔지니어가 이러한 복잡하고 컴퓨팅 집약적인 문제를 해결할 수 있습니다. HPC 애플리케이션에는 뛰어난 네트워크 성능, 빠른 스토리지, 대용량 메모리, 뛰어난 컴퓨팅 성능 또는 이 모든 성능이 필요할 때가 많습니다. AWS를 사용하면 클라우드에서 HPC를 실행하고 대부분 온프레미스 환경에서는 실용적이지 않았을 다수의 병렬 작업으로 확장함으로써 연구 속도를 높이고 결과를 얻을 때까지 걸리는 시간을 단축할 수 있습니다. AWS는 대규모 자본을 투자하지 않아도 특정 애플리케이션에 최적화된 솔루션을 제공하므로 비용 절감에 도움이 됩니다. 자세히 알아보기

Amazon EC2 P3dn.24xlarge 인스턴스

Distributed Machine Learning 및 고성능 컴퓨팅에 최적화되어 더욱 빠르고 강력할 뿐만 아니라 크기까지 커진 새로운 인스턴스

Amazon EC2 P3dn.24xlarge 인스턴스는 가장 빠르고 강력할 뿐만 아니라 크기까지 가장 큰 P3 인스턴스로서 최대 100Gbps의 네트워킹 처리 속도, 각각 32GB의 메모리가 탑재된 NVIDIA® V100 Tensor Core GPU 8개, 사용자 지정 방식의 Intel® Xeon® Scalable (Skylake) vCPU 96개, 그리고 1.8TB의 로컬 NVMe 기반 SSD 스토리지를 제공합니다. 더 빠른 네트워킹, 새로운 프로세서, 2배로 늘어난 GPU 메모리, 추가 vCPU를 통해 개발자는 여러 인스턴스 (예: 인스턴스 16개, 32개 또는 64개)에 걸쳐 작업을 확장함으로써 ML 모델을 트레이닝하는 데 걸리는 시간을 대폭 단축하거나 더 많은 HPC 시뮬레이션을 실행할 수 있습니다. 기계 학습 모델은 엄청난 양의 데이터를 트레이닝해야 합니다. 따라서 인스턴스 사이에 데이터를 전달하는 처리 속도를 높이는 것 외에도 P3dn.24xlarge 인스턴스의 네트워크 처리 속도를 늘리면 Amazon S3나, 혹은 Amazon EFS 같은 공유 파일 시스템에 연결하여 엄청난 양의 트레이닝 데이터에 대한 액세스 속도를 높일 수 있습니다.

병목 현상을 제거하여 기계 학습 트레이닝 시간을 단축

개발자는 100Gbps에 이르는 네트워크 처리 속도 덕분에 다수의 P3dn.24xlarge 인스턴스(예: 인스턴스 16, 32 또는 64개)를 분산 트레이닝에 효율적으로 사용하여 모델 트레이닝에 소요되는 시간을 크게 줄일 수 있습니다. AVX-512 명령어가 2.5GHz에서 지원되는 AWS 맞춤형 Intel Skylake 프로세서의 vCPU 96개는 데이터 전처리를 최적화하는 데 효과적입니다. 또한 P3dn.24xlarge 인스턴스는 전용 하드웨어와 경량 하이퍼바이저가 결합된 AWS Nitro 시스템을 사용하므로 호스트 하드웨어의 거의 모든 컴퓨팅 및 메모리 리소스가 인스턴스에 제공됩니다.

 

GPU 사용량의 최적화를 통한 TCO 절감

전체 네트워크 대역폭이 최대 100Gbps에 달하는 최신 버전의 Elastic Network Adapter를 사용해 네트워킹이 향상되면서 다수의 P3dn.24xlarge 인스턴스에서 데이터를 공유할 뿐만 아니라 Amazon S3이나, 혹은 Amazon EFS 같은 공유 파일 시스템을 통해 높은 처리 속도로 데이터에 액세스할 수도 있습니다. 높은 처리 속도의 데이터 액세스는 GPU 사용량을 최적화하는 동시에 컴퓨팅 인스턴스에서 성능을 극대화하는 데 매우 중요합니다.

더욱 크고 복잡한 모델 지원

P3dn.24xlarge 인스턴스는 각각 32GB의 메모리가 탑재된 NVIDIA V100 Tensor Core GPU를 제공하기 때문에 더욱 크고 복잡한 기계 학습 모델을 트레이닝할 뿐만 아니라 이미지 분류 및 객체 감지 시스템에 사용되는 4k 이미지 같은 대용량 데이터 배치를 처리하는 데 따른 유연성을 보장합니다.

 

Amazon EC2 P3 인스턴스 제품 세부 정보

인스턴스 크기 GPU – Tesla V100 GPU 피어 투 피어 GPU 메모리(GB) vCPU(Virtual CPU) 메모리(GB) 네트워크 대역폭 EBS 대역폭 온디맨드 요금/시간* 1년 약정 예약 인스턴스 실질 시간당* 3년 약정 예약 인스턴스 실질 시간당*
p3.2xlarge 1 해당 사항 없음 16 8 61 최대 10Gbps 1.5Gbps 3.06 USD 1.99 USD 1.05 USD
p3.8xlarge 4
NVLink 64 32 244 10Gbps 7Gbps 12.24 USD 7.96 USD 4.19 USD
p3.16xlarge 8 NVLink 128 64 488 25Gbps 14Gbps 24.48 USD 15.91 USD 8.39 USD
p3dn.24xlarge 8 NVLink 256 96 768 100 Gbps 14 Gbps 31.218 USD 18.30 USD 9.64 USD

위의 요금은 미국 동부 (버지니아 북부) AWS 리전의 Linux/Unix에 적용되며, 가장 가까운 센트로 반올림됩니다. 전체 요금 내역은 Amazon EC2 요금 페이지를 참조하십시오.

고객은 온디맨드 인스턴스, 예약 인스턴스, 스팟 인스턴스 및 전용 호스트로 P3 인스턴스를 구입할 수 있습니다.

초 단위로 청구

클라우드 컴퓨팅의 많은 장점 중 하나가 필요에 따라 리소스를 프로비저닝 또는 디프로비저닝할 수 있는 탄력성입니다. 초 단위까지 사용량을 청구함으로써 고객이 탄력성을 강화하고 비용을 절감하며 기계 학습 목표 달성을 위해 리소스 할당을 최적화하도록 지원합니다.

예약 인스턴스 요금

예약 인스턴스는 온디맨드 인스턴스 요금에 비해 상당한 할인 혜택(최대 75%)을 제공합니다. 또한, 예약 인스턴스를 특정 가용 영역에 지정하면 용량 예약이 제공되므로 필요할 때 예약한 인스턴스를 시작할 수 있다는 확신을 가질 수 있습니다.

스팟 요금

스팟 인스턴스를 사용하면 인스턴스가 실행되는 기간 동안 유효한 스팟 요금을 지불합니다. 스팟 인스턴스 요금은 Amazon EC2가 정하고, 스팟 인스턴스 용량의 장기적인 수요 공급 추세에 따라 점진적으로 조정됩니다. 스팟 인스턴스는 온디맨드 요금과 비교하여 최대 90%까지 할인된 금액으로 사용할 수 있습니다.

가장 광범위한 글로벌 가용성

1856-Updated Map Image-P3 Instances-transparentBG_1024x543

Amazon EC2 P3.2xlarge, P3.8xlarge 및 P3.16xlarge 인스턴스는 14개 AWS 리전에서 사용할 수 있으므로 고객은 데이터가 저장된 곳 어디서나 유연하게 기계 학습 모델을 트레이닝 및 배포할 수 있습니다. P3는 미국 동부 (버지니아 북부), 미국 동부 (오하이오), 미국 서부 (오레곤), 캐나다 (중부), 유럽 (아일랜드), 유럽 (프랑크푸르트), 유럽 (런던), 아시아 태평양 (도쿄), 아시아 태평양 (서울), 아시아 태평양 (시드니) 및 아시아 태평양 (싱가포르), 중국 (베이징), 중국 (닝샤) 및 AWS GovCloud (US) AWS 리전에서 사용할 수 있습니다.

P3dn.24xlarge 인스턴스는 미국 동부 (버지니아 북부) 및 미국 서부 (오레곤) AWS 지역에서 사용할 수 있습니다.

Machine Learning 위해 Amazon EC2 P3 인스턴스 시작하기

몇 분 만에 시작하려면 Amazon SageMaker에 대해 자세히 알아보거나 Caffe2 및 MXNet과 같은 인기 있는 딥 러닝 프레임워크가 사전 설치된 AWS Deep Learning AMI를 사용하십시오. 아니면, 사전에 설치된 GPU 드라이버와 CUDA 도구 키트가 포함된 NVIDIA AMI를 사용할 수도 있습니다.

블로그 게시물 및 기사

amrraga
 
Amr Ragab, Chetan Kapoor, Rahul Huilgol, Jarvis Lee, Tyler Mullenbach, Yong Wu
2018년 7월 20일
시작할 준비가 되셨습니까?
가입
추가 질문이 있으십니까?
AWS에 문의하기