AWS Trainium은 1,000억 개 이상의 파라미터 모델의 딥 러닝 훈련을 위해 AWS에서 구축한 목적별 2세대 기계 학습(ML) 액셀러레이터입니다. 각 Amazon Elastic Compute Cloud(EC2) Trn1 인스턴스는 최대 16개의 AWS Trainium 액셀러레이터를 배포하여 클라우드에서 딥 러닝(DL) 훈련을 위한 고성능 솔루션을 저렴한 비용으로 제공합니다. 딥 러닝의 사용이 가속화되고 있음에도 불구하고 고정된 예산이라는 제약으로 인해 모델 및 애플리케이션을 개선하는 데 필요한 범위와 빈도를 제한해야 하는 개발 팀이 여전히 많습니다. Trainium 기반 EC2 Trn1 인스턴스는 비교 가능한 Amazon EC2 인스턴스 대비 최대 50% 절감된 훈련 비용으로 더 빠른 훈련 시간을 제공함으로써 이 당면 과제를 해결합니다. Trainium은 텍스트 요약, 코드 생성, 질문 답변, 이미지 및 비디오 생성, 권장 사항, 사기 탐지 등의 광범위한 애플리케이션에 사용되는 자연어 처리, 컴퓨터 비전 및 추천자 모델을 훈련하도록 최적화되었습니다.
이점
고성능 딥 러닝 훈련을 위해 특별히 구축된 인스턴스
각 Trainium 액셀러레이터에는 딥 러닝 알고리즘을 위해 특별히 구축된 2세대 NeuronCore 2개가 포함됩니다. 효율적인 데이터 및 모델 병렬 처리를 지원하기 위해 각 Trainium 액셀러레이터에는 32GB의 고대역폭 메모리가 탑재되어 있고 최대 190TFLOPS의 FP16/BF16 컴퓨팅 파워를 제공하며 인스턴스 내 초고속 비차단 인터커넥트 기술인 NeuronLink를 제공합니다.
첨단 모델에 최적화된 인스턴스
Trainium은 광범위한 데이터 유형(FP32, TF32, BF16, FP16, UINT8 및 구성 가능한 FP8)을 기본적으로 지원합니다. 하드웨어 가속 확률 반올림을 지원하므로 레거시 반올림 모드에 비해 높은 성능과 더 높은 정확도를 제공합니다. 또한 Trainium은 C++로 작성된 제어 흐름 및 사용자 지정 연산자를 지원하여 훈련 요구 사항에 따라 유연하게 사용할 수 있는 미래 보장형 인프라를 제공합니다.
ML 프레임워크 및 라이브러리를 기본적으로 지원
Trainium을 지원하는 AWS Neuron SDK는 PyTorch 및 TensorFlow와 기본적으로 통합됩니다. 따라서 이 유명한 프레임워크에서 기존 워크플로를 계속해서 사용할 수 있고 코드 몇 줄만 변경하여 Trainium을 시작할 수 있습니다. 분산 모델 훈련의 경우 Neuron SDK는 Megatron-LM 및 PyTorch Fully Sharded Data Parallel(FSDP)과 같은 라이브러리를 지원합니다. Trainium 기반 EC2 Trn1 인스턴스를 빠르게 시작하려면 Neuron 설명서의 인기 모델 예제를 참조하세요.
AWS Neuron SDK
AWS Neuron은 AWS Trainium 기반 Amazon EC2 Trn1 인스턴스에서 고성능 훈련을 실행할 때 사용할 수 있는 컴파일러, 런타임 및 프로파일링 도구로 구성된 SDK입니다. Neuron을 사용하면 TensorFlow 및 PyTorch와 같은 유명 프레임워크에서 기존 워크플로를 사용할 수 있고 최소한의 코드 변경으로 EC2 Trn1 인스턴스에서 최적화된 훈련을 시작할 수 있습니다. Neuron은 AWS Deep Learning AMI(DLAMI) 및 AWS Deep Learning Containers에 사전 구성되어 제공되므로, Trn1 인스턴스에서 쉽게 시작할 수 있습니다.
AWS Inferentia
AWS Inferentia는 클라우드에서 저렴한 비용으로 높은 성능의 ML 추론을 제공하기 위해 AWS가 설계한 ML 추론 액셀러레이터입니다. AWS Inferentia 액셀러레이터 기반의 Amazon EC2 Inf1 인스턴스는 비교 가능한 Amazon EC2 인스턴스에 비해 추론당 최대 70% 저렴한 비용으로 최대 2.3배 더 많은 처리량을 제공합니다.
