Amazon SageMaker HyperPod, 이제 G7e 및 r5d.16xlarge 인스턴스 지원
Amazon SageMaker HyperPod에서 이제 G7e 및 r5d.16xlarge 인스턴스를 지원합니다. SageMaker HyperPod는 대규모로 파운데이션 모델을 개발, 훈련 및 배포하기 위해 특별히 구축된 인프라로, 내장된 내결함성, 자동화된 클러스터 복구, 최적화된 분산 훈련 라이브러리를 갖춘 복원력과 성능이 뛰어난 환경을 제공함으로써 규모가 큰 AI/ML 인프라 관리에 따른 획일적이고 부담스러운 작업을 줄여줍니다.
G7e 인스턴스는 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU를 탑재했으며, G6e 인스턴스보다 최대 2.3배 뛰어난 추론 성능을 제공하므로 지연 시간을 줄이면서 초당 더 많은 요청을 처리할 수 있습니다. 최대 768GB의 총 GPU 메모리를 갖춘 G7e 인스턴스를 통해 규모가 더 큰 언어 모델을 배포하거나 하나의 엔드포인트에서 여러 모델을 실행할 수 있습니다. 이러한 인스턴스를 사용하여 LLM, 에이전틱 AI, 멀티모달 생성형 AI 및 물리적 AI 모델을 배포할 수 있습니다. 또한 G7e 인스턴스는 G6e에 비해 TFLOP이 최대 1.27배, GPU 간 대역폭이 최대 4배이므로 NLP, 컴퓨터 비전 및 소규모 생성형 AI 모델의 비용 효율적인 단일 노드 미세 조정 또는 학습에도 적합합니다. 또한 HyperPod에서 이제 r5d.16xlarge도 지원합니다. r5d.16xlarge 인스턴스는 최대 3.1GHz의 지속적인 올코어 터보 주파수를 갖춘 인텔 제온 플래티넘 8000 시리즈 프로세서로 구동되며, 64개의 vCPU, 512GB의 메모리 및 5x600GB NVMe SSD 인스턴스 스토리지를 제공합니다. 이 인스턴스는 특히 Ray와 같은 프레임워크를 사용하는 분산 훈련 데이터 전처리, 대규모 특성 엔지니어링, GPU 컴퓨팅과 함께 메모리 사용량이 많은 오케스트레이션 서비스 실행에 매우 적합합니다.
G7e 인스턴스는 미국 동부(버지니아 북부), 미국 동부(오하이오), 아시아 태평양(도쿄) 및 미국 서부(오리건) 리전에서 제공되며, r5d.16xlarge는 Amazon SageMaker HyperPod를 사용할 수 있는 모든 리전에서 제공됩니다.