Amazon Web Services 한국 블로그

Amazon EC2 G7e 인스턴스 정식 출시 – NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 가속기

오늘은 Amazon Elastic Compute Cloud(Amazon EC2) G7e 인스턴스 정식 출시 소식을 발표합니다. 이 인스턴스는 생성형 AI 추론 워크로드에 비용 효율적인 성능을 제공하며, 그래픽 워크로드에 최상의 성능을 제공합니다.

G7e 인스턴스는 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU로 가속되며, 공간 컴퓨팅 및 과학적 컴퓨팅 워크로드를 비롯한 다양한 GPU 기반 워크로드에 매우 적합합니다. G7e 인스턴스는 G6e 인스턴스 대비 최대 2.3배 우수한 추론 성능을 제공합니다.

이전 세대 대비 개선된 점:

  • NVIDIA RTX PRO 6000 Blackwell GPU — NVIDIA RTX PRO 6000 Blackwell Server Edition GPU는 G6e 인스턴스 대비 두 배의 GPU 메모리, 1.85배의 GPU 메모리 대역폭을 제공합니다. G7e 인스턴스가 제공하는 더 많은 GPU 메모리를 이용하면 GPU 한 대에서 FP8 정밀도로 최대 700억 개의 파라미터로 구성된 중간 크기 모델을 실행할 수 있습니다.
  • NVIDIA GPUDirect P2P — GPU 한 대의 메모리로 감당하기에는 너무 큰 모델의 경우, 모델이나 계산을 여러 GPU로 분할할 수 있습니다. G7e 인스턴스는 PCIe 상호 연결을 통한 GPU 간 직접 통신이 가능한 NVIDIA GPUDirect P2P를 지원해 복수 GPU 워크로드의 지연 시간을 줄여줍니다. 이러한 인스턴스는 같은 PCIe 스위치 상에서 GPU의 P2P(Peer to peer) 지연 시간이 가장 짧습니다. 또한 G7e 인스턴스는 G6e 인스턴스의 L40s GPU 대비 GPU 간 대역폭이 최대 4배로, 복수 GPU 워크로드 성능을 크게 향상해 줍니다. 이렇게 개선되었기 때문에 대규모 모델의 추론을 노드 하나에서 최대 768GB의 GPU 메모리를 제공하는 GPU 여러 개에서 실행할 수 있습니다.
  • 네트워킹 — G7e 인스턴스는 G6e 인스턴스 대비 4배의 네트워크 대역폭을 제공하므로, 규모가 작고 노드가 여러 개인 워크로드에 사용하기 좋습니다. 또한 복수 GPU G7e 인스턴스는 Elastic Fabric Adapter(EFA)로 NVIDIA GPUDirect Remote Direct Memory Access(RDMA)를 지원하기 때문에 노드가 여러 개인 워크로드의 원격 GPU 간 통신 시 지연 시간을 줄여 줍니다. 이러한 인스턴스 크기는 Amazon FSx for Lustre로 NVIDIA GPUDirectStorage도 지원하여, G6e 인스턴스 대비 인스턴스 처리량을 최고 1.2Tbps 늘려 주므로 모델을 빠른 속도로 로드할 수 있습니다.

EC2 G7e 사양
G7e 인스턴스에는 최대 8대의 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU가 탑재되며, 총 GPU 메모리는 최대 768GB(GPU당 메모리 96GB)이고 Intel Emerald Rapids 프로세서를 포함합니다. 또한 최대 192대의 vCPU, 최대 1,600Gbps의 네트워크 대역폭, 최대 2,048GiB의 시스템 메모리와 최대 15.2TB의 로컬 NVMe SSD 스토리지도 지원됩니다.

사양은 다음과 같습니다.

인스턴스 이름
GPU GPU 메모리(GB) vCPU 메모리(GiB) 스토리지(TB) EBS 대역폭(Gbps) 네트워크 대역폭(Gbps)
g7e.2xlarge 1 96 8 64 1.9 x 1 최대 5 50
g7e.4xlarge 1 96 16 128 1.9 x 1 8 50
g7e.8xlarge 1 96 32 256 1.9 x 1 16 100
g7e.12xlarge 2 192 48 512 3.8 x 1 25 400
g7e.24xlarge 4 384 96 1024 3.8 x 2 50 800
g7e.48xlarge 8 768 192 2048 3.8 x 4 100 1600

G7e 인스턴스를 시작하려면 기계 학습(ML) 워크로드에 AWS Deep Learning AMI(DLAMI)를 사용할 수 있습니다. 인스턴스를 실행하려면 AWS Management Console, AWS Command Line Interface(AWS CLI) 또는 AWS SDK를 사용하면 됩니다. 관리형 경험을 원하는 경우, G7e 인스턴스를 Amazon Elastic Container Service(Amazon ECS), Amazon Elastic Kubernetes Service(Amazon EKS)와 함께 사용하면 됩니다. Amazon SageMaker AI도 곧 지원될 예정입니다.

정식 출시
Amazon EC2 G7e는 현재 미국 동부(버지니아 북부)와 미국 동부(오하이오) AWS 리전에서 사용할 수 있습니다. 리전별 이용 가능 여부와 향후 로드맵을 보려면 AWS Capabilities by Region의 CloudFormation 탭에서 인스턴스 유형을 검색하세요.

이 인스턴스는 온디맨드 인스턴스, 절감형 플랜 및 스팟 인스턴스로 구매할 수 있습니다. G7e 인스턴스는 전용 인스턴스 및 전용 호스트로도 사용할 수 있습니다. 자세한 내용은 Amazon EC2 요금 페이지를 참조하세요.

Amazon EC2 콘솔에서 G7e 인스턴스를 사용해 보세요. 더 알아보려면 Amazon EC2 G7e 인스턴스 페이지를 방문하시고, AWS re:Post for EC2 또는 평소 이용하시는 AWS Support 채널을 통해 피드백을 보내주세요.

— Channy