Amazon EC2 Trn2 인스턴스, 정식 버전으로 사용 가능
오늘 AWS는 Amazon Elastic Compute Cloud(Amazon EC2) Trn2 인스턴스의 정식 버전과 AWS Trainium2 칩으로 구동되는 Trn2 UltraServers의 평가판을 발표했습니다. EC2 용량 블록을 통해 사용할 수 있는 Trn2 인스턴스 및 UltraServers는 딥 러닝과 생성형 AI 훈련 및 추론을 위한 가장 강력한 EC2 컴퓨팅 솔루션입니다.
Trn2 인스턴스를 사용하여 대규모 언어 모델(LLM), 멀티모달 모델, 확산 트랜스포머 등 가장 까다로운 파운데이션 모델을 훈련하고 배포하여 일련의 광범위한 AI 애플리케이션을 구축할 수 있습니다. 가장 성능이 뛰어난 최첨단 모델의 훈련 시간을 줄이고 획기적인 응답 시간(토큰당 지연 시간)을 제공하려면 단일 인스턴스가 제공할 수 있는 것보다 더 많은 컴퓨팅 및 메모리가 필요할 수 있습니다. Trn2 UltraServers는 완전히 새로운 EC2 오퍼링으로, 고대역폭 저지연 패브릭인 NeuronLink를 사용해 4개의 Trn2 인스턴스에 있는 64개의 Trainium2 칩을 하나의 노드에 연결하여 탁월한 성능을 제공합니다. 추론의 경우, UltraServers는 업계 최고의 응답 시간을 제공하여 최상의 실시간 경험을 제공합니다. 훈련의 경우, UltraServer는 모델 병렬 처리를 위한 더 빠른 집단 통신을 통해 독립형 인스턴스와 비교해 모델 훈련 속도와 효율성을 향상시킵니다.
Trn2 인스턴스에는 최대 20.8페타플롭의 FP8 컴퓨팅, 1.5TB의 고대역폭 메모리(46TB/s의 메모리 대역폭), 3.2Tbps의 EFA 네트워킹을 제공하는 16개의 Trainium2 칩이 탑재되어 있습니다. Trn2 UltraServers에는 최대 83.8페타플롭의 FP8 컴퓨팅, 6TB의 총 고대역폭 메모리(185TB/s의 총 메모리 대역폭), 12.8Tbps의 EFA 네트워킹을 제공하는 16개의 Trainium2 칩이 탑재되어 있습니다. 둘 다 EC2 UltraCluster에 배포되어 분산 훈련을 위한 페타비트 규모의 비차단 스케일 아웃 기능을 제공합니다. Trn2 인스턴스는 미국 동부(오하이오) AWS 리전에서 ML용 EC2 용량 블록을 통해 trn2.48xlarge 크기로 정식 출시됩니다.
Trn2 인스턴스에 대해 자세히 알아보고 Trn2 UltraServers에 대한 액세스를 요청하려면 Trn2 인스턴스 페이지로 이동하세요.