게시된 날짜: Dec 22, 2023
AWS Neuron은 생성형 AI용으로 특별히 구축된 Amazon EC2 Inferentia 및 Trainium 기반 인스턴스용 SDK입니다. 오늘 AWS는 Neuron 2.16 릴리스를 통해 Inf2 인스턴스에서 Llama-2 70b 모델 추론을 지원한다고 발표했습니다.
Neuron은 PyTorch 및 TensorFlow와 같은 인기 있는 기계 학습 프레임워크와 통합되므로 공급업체별 솔루션 없이 최소한의 코드 변경으로 시작할 수 있습니다. Neuron에는 Trn1 인스턴스 및 Inf2 인스턴스에서의 생성형 AI 모델의 고성능 훈련 및 추론을 지원하는 컴파일러, 런타임, 도구, 라이브러리가 포함되어 있습니다.
Neuron 2.16에는 Transformers NeuronX를 통한 Llama-2 70b 및 Mistral-7b에 대한 추론 지원이 추가됩니다. 이번 릴리스에는 PyTorch 2.1(베타) 및 Amazon Linux 2023에 대한 지원이 포함되어 있습니다. Neuron 2.16은 PyTorch Lightning Trainer(베타) 지원을 통해 LLM 모델 훈련 사용자 환경을 개선합니다. 이제 PyTorch 추론을 통해 로드된 모델에 대해 미세 조정된 다양한 가중치를 동적으로 전환할 수 있습니다. 이번 릴리스에서는 Neuron Profiler 도구에서 집합 통신 연산자의 디버깅 기능과 프로파일링을 개선하기 위한 NDET(Neuron Distributed Event Tracing) 도구를 소개합니다.
AWS Neuron SDK를 사용하여 Trn1 및 Inf2 인스턴스에서 모델을 훈련 및 배포할 수 있으며, 미국 동부(버지니아 북부), 미국 서부(오레곤) 및 미국 동부(오하이오)의 AWS 리전에서 온디맨드 인스턴스, 예약형 인스턴스 및 스팟 인스턴스 또는 절감형 플랜의 일부로 제공됩니다.
Neuron 2.16의 새로운 기능 및 개선 사항의 전체 목록은 Neuron 릴리스 노트에서 확인하세요. Neuron을 시작하려면 다음을 참조하세요.