게시된 날짜: Aug 29, 2023
AWS Neuron은 생성형 AI를 위해 특별히 구축된 Amazon EC2 Inferentia 및 Trainium 기반 인스턴스용 SDK입니다. 오늘 Neuron 2.13 릴리스를 통해 Llama 2 모델 훈련 및 추론, GPT-NeoX 모델 훈련에 대한 지원을 시작하고 Stable Diffusion XL 및 CLIP 모델 추론에 대한 지원을 추가할 예정입니다.
Neuron은 PyTorch 및 TensorFlow와 같은 유명 ML 프레임워크와 통합되므로 공급업체별 솔루션 없이 최소한의 코드 변경으로 시작할 수 있습니다. Neuron에는 Trn1 인스턴스에서의 생성형 AI 모델 고성능 훈련 및 Inf2 인스턴스의 추론을 지원하는 컴파일러, 런타임, 프로파일링 도구 및 라이브러리가 포함되어 있습니다. Neuron 2.13은 Llama 2 및 GPT-3 같은 LLM의 분산 훈련을 지원하는 Nemo Megatron 라이브러리용 AWS Neuron 참조를 도입하고 Neuron 분산 라이브러리를 통한 GPT-Neox 모델 훈련에 대한 지원을 추가합니다. 이번 릴리스에는 Transformers Neuron 라이브러리와 함께 Llama 2에 대한 최적화된 LLM 추론 지원과 PyTorch Neuron을 사용한 SDXL, Perceiver 및 CLIP 모델 추론에 대한 지원이 추가되었습니다.
AWS Neuron SDK를 사용하여 Trn1 및 Inf2 인스턴스의 모델을 훈련하고 배포할 수 있으며, 미국 동부(버지니아 북부), 미국 서부(오레곤) 및 미국 동부(오하이오) 등의 AWS 리전에서 온디맨드 인스턴스, 예약형 인스턴스 및 스팟 인스턴스 또는 절감형 플랜의 일부로 제공됩니다.
Neuron 2.13의 새로운 기능 및 개선 사항의 전체 목록을 확인하려면 Neuron 릴리스 정보를 참조하세요. Neuron을 시작하려면 다음을 참조하세요.