AWS Neuron 2.31.0, 이제 NKI 0.5.0 및 UltraServer Operator와 함께 사용 가능
AWS Neuron 2.31.0이 출시되었습니다. 새로운 MX FP8 스케일 dtype을 지원하는 NKI 0.5.0, 인덱싱된 액세스 패턴에서 명령어 수를 줄이기 위한 컴퓨팅 작업에 대한 텐서 간접성, 무료로 텐서 레이아웃 변환을 수행할 수 있는 새로운 NkiTensor 뷰 API가 추가되었습니다. 이 릴리스에서는 Amazon EKS용 Neuron UltraServer Operator가 공개 베타 버전으로 출시되어 Amazon EKS에서 Trainium UltraServer 워크로드에 대한 UltraServer 검색, 워크로드 할당, 리소스 클레임 생성을 자동화합니다.
Neuron Compiler에는 재설계된 코드 생성 백엔드가 포함되어 있으며, 이 기능은 Trn2 및 Trn3에서 기본적으로 활성화되어 성능이 향상되었습니다. Neuron Runtime에 연속 공유 스크래치패드 지원이 추가되면서, 스크래치패드 페이지 크기를 수동으로 설정할 필요가 없어 디바이스 구성을 간소화합니다. NKI Library는 MoE 훈련 집합, 변형 가능한 어텐션, DeepSeek MLA 투영, 링 어텐션을 다루는 14개의 새로운 실험적 커널과 PyTorch 참조 구현을 추가합니다. Neuron Explorer는 System Trace Viewer 소스 코드 연결 기능을 추가하고 워크로드 디버깅을 개선하기 위해 기본 그룹화 설정을 업데이트했습니다.
시작하려면 다음 리소스를 참조하세요.
AWS Neuron은 Amazon EC2 Trn1, Trn2, Trn3, Inf2, Inf1 인스턴스가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. 리전별 AWS PrivateLink 사용 가능 여부는 AWS 리전 표에서 자세히 알아볼 수 있습니다.