게시된 날짜: Oct 27, 2023
AWS Neuron은 생성형 AI용으로 특별히 구축된 Amazon EC2 Inferentia 및 Trainium 기반 인스턴스용 SDK입니다. 오늘 AWS는 Neuron 2.15 릴리스를 통해 Llama-2 70b 모델 훈련과 PyTorch 2.0 지원을 제공한다고 발표했습니다.
Neuron은 PyTorch 및 TensorFlow와 같은 인기 있는 기계 학습 프레임워크와 통합되므로 공급업체별 솔루션 없이 최소한의 코드 변경으로 시작할 수 있습니다. Neuron에는 Trn1 인스턴스에서의 생성형 AI 모델의 고성능 훈련 및 Inf2 인스턴스의 추론을 지원하는 컴파일러, 런타임, 프로파일링 도구, 라이브러리가 포함되어 있습니다. 이번 릴리스에는 Neuron 분산 라이브러리를 통한 Llama-2 70b 모델 훈련 지원이 추가되고 PyTorch 2.0에 대한 베타 지원이 추가되었습니다.
AWS Neuron SDK를 사용하여 Trn1 및 Inf2 인스턴스에서 모델을 훈련 및 배포할 수 있으며, 미국 동부(버지니아 북부), 미국 서부(오레곤) 및 미국 동부(오하이오)의 AWS 리전에서 온디맨드 인스턴스, 예약형 인스턴스 및 스팟 인스턴스 또는 절감형 플랜의 일부로 제공됩니다.
Neuron 2.15의 새로운 기능 및 개선 사항의 전체 목록은 Neuron 릴리스 노트에서 확인하세요. Neuron을 시작하려면 다음을 참조하세요.