게시된 날짜: Jan 27, 2023
Amazon SageMaker에서 추론용 기계 학습(ML) 모델을 배포하기 위한 ml.p4de.24xlarge 인스턴스의 평가판을 발표하게 되어 기쁩니다.
ml.p4de.24xlarge 인스턴스는 GPU당 80GB 메모리(총 640GB)를 제공하며 최대 8TB의 로컬 NVMe SSD 스토리지를 지원합니다. 따라서 SageMaker에서 대규모 언어 모델 및 제너레이티브 AI 모델과 같은 컴퓨팅 집약적 워크로드에 대한 고성능 기계 학습 추론이 가능합니다. 이러한 인스턴스는 96개의 vCPU, 1152GiB의 인스턴스 메모리, 400Gbps의 네트워크 대역폭을 제공합니다.
ml.p4de 인스턴스는 미국 동부(버지니아 북부) 및 미국 서부(오레곤)에서 사용할 수 있습니다.