SageMaker AI inference에서 G7e 인스턴스의 리전 확장 발표
Amazon SageMaker AI inference를 통해 Amazon EC2 G7e 인스턴스를 아시아 태평양(서울), 유럽(런던) 및 아시아 태평양(도쿄)에서 사용할 수 있다는 소식을 발표하게 되어 기쁩니다. G7e 인스턴스는 GPU당 96GB의 메모리를 갖춘 최대 8개의 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU, 5세대 인텔 제온 프로세서, 최대 1,600Gbps의 Elastic Fabric Adapter 네트워킹 대역폭을 갖추고 있어 이전 세대 G6e 인스턴스에 비해 최대 2.3배의 추론 성능을 제공합니다.
이번 리전 확장을 통해 이제 아시아와 유럽의 최종 사용자와 더 가까운 G7e 인스턴스에 추론 엔드포인트를 배포하여 생성형 AI 워크로드의 지연 시간을 줄일 수 있습니다. G7e 인스턴스는 단일 인스턴스에서 최대 768GB의 총 GPU 메모리를 제공하므로 다중 노드 구성 없이 FP8 정밀도로 최대 70B 파라미터의 중대형 언어 모델을 처리할 수 있습니다. 이러한 인스턴스는 LLM 추론, 이미지 및 동영상 생성, 공간 컴퓨팅, 높은 GPU 메모리 용량과 대역폭이 필요한 과학 컴퓨팅 워크로드에 매우 적합합니다.
SageMaker AI inference를 위한 G7e 인스턴스는 이제 이전에 지원되던 리전 외에도 아시아 태평양(서울), 유럽(런던) 및 아시아 태평양(도쿄)에서 사용할 수 있습니다. 인스턴스에 대한 요금 정보는 요금 페이지를 참조하세요.