Amazon SageMaker AI, 이제 P6e-GB200 UltraServer 지원
오늘, Amazon SageMaker AI가 SageMaker HyperPod 및 훈련 작업에서 P6e-GB200 UltraServer를 지원한다고 발표했습니다. P6e-GB200 UltraServer를 사용하면 최대 72개의 NVIDIA Blackwell GPU를 단일 NVLink 도메인에서 활용하여 수조 개의 파라미터 규모로 파운데이션 모델의 훈련 및 배포를 가속화할 수 있습니다. P6e-GB200 UltraServer는 ml.u-p6e-gb200x72(NVLink 내 72GPU)와 ml.u-p6e-gb200x36(NVLink 내 36GPU)의 두 가지 크기로 제공됩니다.
P6e-GB200 UltraServer는 P5en 인스턴스와 비교하여 하나의 NVIDIA NVLink에서 20배 이상의 컴퓨팅 성능과 11배 이상의 메모리를 제공합니다. 각 NVLink 도메인 내에서 360페타플롭의 FP8 컴퓨팅 성능(희소성 없음)과 13.4TB의 총 고대역폭 메모리(HBM3e)를 활용할 수 있습니다. SageMaker AI에서 P6e-GB200 UltraServer를 사용하면 GB200의 뛰어난 성능과 더불어 SageMaker의 관리형 인프라(보안, 기본 제공 내결함성, 토폴로지 인식 스케줄링(SageMaker HyperPod EKS & Slurm), 통합 모니터링 기능, 그리고 다른 SageMaker AI 및 AWS 서비스와의 네이티브 통합)까지 함께 누릴 수 있습니다.
UltraServer는 미국 동부(버지니아 북부) AWS 리전의 확장인 댈러스 로컬 영역(‘us-east-1-dfw-2a’)에서 SageMaker 유연한 훈련 플랜을 통해 사용할 수 있습니다. GB200 UltraServer를 온디맨드로 예약하려면 담당 계정 관리자에게 문의하시기 바랍니다. Amazon SageMaker AI를 사용하면 성능과 비용에 최적화된 완전관리형 인프라를 통해 대규모로 기계 학습 모델을 손쉽게 훈련하고 배포할 수 있습니다. SageMaker AI에서 UltraServer를 시작하려면 설명서를 확인하세요.