AWS Neuron, NxD 추론 GA, 새로운 기능, 개선된 도구 도입
AWS는 오늘 Neuron 2.23을 릴리스한다고 발표했습니다. 이번 릴리스에는 추론, 훈련 기능, 개발자 도구 전반에서 향상된 기능이 포함되어 있습니다. nXD 추론 라이브러리(nXDI)가 정식 버전(GA)으로 제공되고, 새로운 훈련 기능(컨텍스트 병렬 처리, ORPO 등)이 도입되며, PyTorch 2.6 및 JAX 0.5.3에 대한 지원이 추가됩니다.
NxD 추론 라이브러리는 베타 버전에서 정식 버전으로 전환되어 모든 멀티칩 추론 사용 사례에 권장됩니다. 주요 개선 사항으로는 컴파일 시간을 줄여주는 영구 캐시와 최적화된 모델 로딩 시간을 들 수 있습니다.
훈련 워크로드의 경우, NxD 훈련 라이브러리에는 Lama 모델에 대한 컨텍스트 병렬 처리 지원(베타)이 도입되어 최대 32K의 시퀀스 길이를 지원합니다. 또한 이번 릴리스에는 DPO 스타일 데이터세트를 사용하는 ORPO 기반의 모델 정렬에 대한 지원이 추가되었으며, PyTorch Lightning 2.5, Transformers 4.48, NeMo 2.1과 같은 서드 파티 라이브러리에 대한 지원이 업그레이드되었습니다.
Neuron Kernel Interface(NKI)에는 새로운 32비트 정수 연산, Trainium2를 위한 개선된 ISA 기능, 새로운 성능 조정 API가 도입되었습니다. Neuron Profiler는 이제 5배 더 빠른 프로필 결과 보기, 타임라인 기반 오류 추적, 그리고 Perfetto를 통한 개선된 다중 프로세스 시각화 기능을 제공합니다.
AWS Neuron SDK는 Trn1/Trn2/Inf2 인스턴스의 모델 훈련 및 배포를 지원합니다. 이러한 인스턴스는 AWS 리전에서 온디맨드 인스턴스, 예약형 인스턴스 및 스팟 인스턴스 또는 절감형 플랜의 일부로 제공됩니다.
Neuron 2.23에서 제공되는 새로운 기능과 개선 사항의 전체 목록을 확인하고 Neuron 사용을 시작하려면 다음을 참조하세요.