Amazon EC2 Capacity Block for ML 정식 출시 – 기계 학습 워크로드를 위한 GPU 용량 예약 기능

최근 기계 학습(ML)의 발전으로 규모와 업종을 불문하고 모든 조직의 고객이 신제품을 재창조하고 비즈니스를 혁신할 수 있는 기회가 열렸습니다. 그러나 이러한 ML 모델을 훈련, 미세 조정, 실험 및 추론하기 위한 GPU 용량에 대한 수요 증가가 업계 전반의 공급을 앞지르고 있어 GPU는 부족한 리소스가 되었습니다. 현재 진행 중인 연구 개발 단계에 따라 용량 요구 사항이 변동하는 고객에게는 GPU 용량에 대한 액세스가 걸림돌로 작용합니다.

오늘 AWS는 Amazon Elastic Compute Cloud(Amazon EC2) Capacity Block for ML (ML용 용량 블록)을 발표합니다. 이 모델은 ML 및 생성형 AI 모델을 훈련하고 배포하기 위해 GPU 인스턴스에 쉽게 액세스할 수 있도록 하여 ML을 더욱 대중화할 수 있는 새로운 Amazon EC2 사용 모델입니다. EC2 용량 블록을 사용하면 페타비트급의 비블로킹 방식 네트워크에서 Elastic Fabric Adapter(EFA) 네트워킹을 사용하여 고성능 ML 워크로드를 위해 설계된 EC2 UltraClusters에 배치된 수백 개의 GPU를 예약하여 Amazon EC2에서 사용할 수 있는 최고의 네트워크 성능을 제공할 수 있습니다.

이는 GPU 인스턴스를 예약하는 혁신적이고 새로운 방법으로, 필요한 시간 동안만 향후 날짜에 필요한 인스턴스 수를 예약할 수 있습니다. EC2 용량 블록은 현재 AWS 미국 동부(오하이오) 리전에서 NVIDIA H100 Tensor Core GPU로 구동되는 Amazon EC2 P5 인스턴스에 사용할 수 있습니다. EC2 용량 블록을 사용하면 단 몇 번의 클릭만으로 GPU 인스턴스를 예약하고 ML 개발을 순조롭게 계획할 수 있습니다. EC2 용량 블록을 사용하면 누구나 ML 훈련용 EC2에서 최고의 성능을 제공하는 EC2 P5 인스턴스에 예측 가능한 방식으로 액세스할 수 있습니다.

EC2 용량 블록 예약은 호텔 객실 예약과 비슷하게 진행됩니다. 호텔 예약의 경우, 객실을 예약할 날짜와 기간, 원하는 침대 크기(예: 퀸 베드 또는 킹 베드)를 지정합니다. 마찬가지로 EC2 용량 블록 예약의 경우, GPU 인스턴스가 필요한 날짜와 기간, 예약 규모(인스턴스 수)를 선택할 수 있습니다. 예약 시작일에는 예약된 EC2 용량 블록에 액세스하여 P5 인스턴스를 시작할 수 있습니다. EC2 용량 블록 기간이 끝나면 여전히 실행 중인 모든 인스턴스가 종료됩니다.

ML 모델을 훈련 또는 미세 조정하거나 실험을 실행하거나 향후 ML 애플리케이션에 대한 수요 급증에 대비하기 위해 용량 보증이 필요한 경우 EC2 용량 블록을 사용할 수 있습니다. 또는 비즈니스 크리티컬 애플리케이션, 규제 요구 사항 또는 재해 복구와 같이 컴퓨팅 용량 보증이 필요한 그 외 모든 워크로드 유형에서 온디맨드 용량 예약을 계속 사용할 수 있습니다.

Amazon EC2 Capacity Block for ML 시작하기
용량 블록을 예약하려면 미국 동부(오하이오) 리전의 Amazon EC2 콘솔에서 Capacity Reservations(용량 예약)를 선택하세요. 두 가지 용량 예약 옵션을 볼 수 있습니다. Purchase Capacity Blocks for ML(ML용 용량 블록 구매)을 선택한 다음, Get started(시작하기)를 선택하여 EC2 용량 블록 검색을 시작하세요.

총 용량을 선택하고 EC2 용량 블록이 필요한 기간을 지정합니다. EC2 용량 블록은 1, 2, 4, 8, 16, 32 또는 64 p5.48xlarge 인스턴스의 크기로 예약할 수 있습니다. EC2 용량 블록을 예약할 수 있는 총 일수는 1~14일이며 이 범위 내에서 1일씩 증가합니다. EC2 용량 블록은 최대 8주 전에 미리 구매할 수 있습니다.

EC2 용량 블록 가격은 동적이며 EC2 용량 블록 구매 시점에 가용한 총 공급과 수요에 따라 달라집니다. 사양의 크기, 기간 또는 날짜 범위를 조정하여 다른 EC2 용량 블록 옵션을 검색할 수 있습니다. Find Capacity Blocks(용량 블록 찾기)를 선택하면 AWS는 지정한 날짜 범위의 사양을 충족하는 가장 저렴한 가격의 제품을 반환합니다. 이 시점에서 EC2 용량 블록의 가격이 표시됩니다.

EC2 용량 블록 세부 정보, 태그 및 총 가격 정보를 검토한 후 Purchase(구매)를 선택합니다. EC2 용량 블록의 총 가격은 선불로 청구되며 구매 후 가격은 변동하지 않습니다. 결제 대금은 EC2 용량 블록을 구매한 후 12시간 이내에 계정에 청구됩니다.

모든 EC2 용량 블록 예약은 협정 세계 표준시(UTC) 기준 오전 11시 30분에 시작됩니다. EC2 용량 블록은 구매 후 수정하거나 취소할 수 없습니다.

또한 AWS Command Line Interface(AWS CLI) 및 AWS SDK를 사용하여 EC2 용량 블록을 구매할 수도 있습니다. describe-capacity-block-offerings API를 사용하여 클러스터 요구 사항을 제시하고, 구매할 수 있는 EC2 용량 블록을 검색하세요.

$ aws ec2 describe-capacity-block-offerings \
          --instance-type p5.48xlarge \
          --instance-count 4 \
          --start-date-range 2023-10-30T00:00:00Z \
          --end-date-range 2023-11-01T00:00:00Z \
          --capacity-duration 48

이전 명령에서 CapacityBlockOfferingId와 용량 정보로 사용 가능한 EC2 용량 블록을 찾은 후, purchase-capacity-block-reservation API를 사용하여 동 용량 블록을 구매할 수 있습니다.

$ aws ec2 purchase-capacity-block-reservation \
          --capacity-block-offering-id cbr-0123456789abcdefg \
          --instance-platform Linux/UNIX

새로운 EC2 용량 블록 API에 관한 자세한 내용은 Amazon EC2 API 설명서를 참조하세요.

EC2 용량 블록이 성공적으로 예약되었습니다. 예약된 시작 날짜에 EC2 용량 블록이 활성화됩니다. 시작 날짜에 활성 EC2 용량 블록을 사용하려면 EC2 용량 블록의 용량 예약 ID를 선택하세요. 예약된 인스턴스 용량에 관한 세부 정보를 확인할 수 있으며, 이는 용량 세부 정보 섹션에서 현재 용량이 어떻게 활용되고 있는지 보여줍니다.

활성 EC2 용량 블록에서 인스턴스를 시작하려면 Launch instances(인스턴스 시작)를 선택한 후 일반적인 프로세스에 따라 EC2 인스턴스를 시작하고 ML 워크로드를 실행하세요.

Advanced details(고급 세부 정보) 섹션에서 Capacity Blocks(용량 블록)를 구매 옵션으로 선택하고 대상으로 삼으려는 EC2 용량 블록의 용량 예약 ID를 선택합니다.

EC2 용량 블록 종료 시간이 다가오면 Amazon EC2는 Amazon EventBridge를 통해 이벤트를 전송합니다. 이 이벤트는 예약이 곧 종료된다는 것을 알려주므로 워크로드를 체크할 수 있습니다. EC2 용량 블록에서 실행 중인 모든 인스턴스는 예약 종료 30분 전에 종료 상태가 됩니다. EC2 용량 블록에 대해 청구된 금액에는 이 기간이 포함되지 않습니다. EC2 용량 블록이 만료되면 아직 실행 중인 모든 인스턴스가 종료됩니다.

정식 출시
이제 AWS 미국 동부(오하이오) 리전에서 p5.48xlarge 인스턴스에 대해 Amazon EC2 용량 블록을 사용할 수 있습니다. 예약하기 전에 EC2 용량 블록의 가격을 확인할 수 있으며 EC2 용량 블록의 총 금액은 구매 시 선불로 청구됩니다. 자세한 내용은 EC2 용량 블록 요금 페이지를 참조하세요.

자세한 내용을 알아보려면 EC2 용량 블록 설명서를 참조하세요. 피드백을 보내려면 EC2용 AWS re:Post를 이용하거나 평소 교류하는 AWS Support 담당자를 통해 전달해 주세요.

— Channy