AWS Neuron SDK 2.29.0, 이제 NKI 및 Neuron Explorer 베타 버전 종료, 새로운 CPU Simulator 및 확장된 NKI 라이브러리와 함께 사용 가능
이번 릴리스에서 AWS Neuron SDK 2.29.0은 버전 0.3.0과 함께 Neuron Kernel Interface(NKI)를 베타에서 정식 버전으로 승격했습니다. NKI는 개발자에게 Python 기반 구문을 사용하여 AWS Trainium 및 AWS Inferentia NeuronCores에 대한 직접적인 저수준 프로그래밍 액세스를 제공합니다. 이번 릴리스에서는 모든 NKI API 및 네이티브 언어 객체에 대해 개발자가 볼 수 있는 소스 코드를 제공하는 NKI Standard Library를 도입했습니다. 또한 개발자가 표준 Python 디버깅 도구를 사용하여 Trainium 하드웨어 없이 표준 CPU에서 로컬로 NKI 커널을 작성, 테스트 및 디버그할 수 있는 새로운 CPU 시뮬레이터도 포함되어 있습니다. NKI 0.3.0에는 전용 지수 지침, matmul 누적 제어, Trn3에 대한 DMA 우선 순위 설정, 가변 길이 올투올 집합 등 새로운 ISA 수준의 기능도 추가되었습니다.
NKI 라이브러리는 Conv1D, 다중 계층 트랜스포머 토큰 생성 메가커널, Trainium2에 대한 융합 통신-컴퓨팅 프리미티브, 동적 타일링 연산을 아우르는 7개의 새로운 실험 커널로 확장되었으며, 기존의 커널도 개선 사항이 적용됩니다. Attention CTE는 더 큰 배치 크기 및 시퀀스 길이로 규모가 조정되었고, MLP는 혼합 정밀도 양자화 경로를 추가했으며, MoE TKG는 동적 전문가 알고리즘을 도입했습니다.
추론의 경우 NxD 추론은 텍스트 모델 시퀀스 병렬 처리 및 비전 데이터 병렬 처리를 비롯한 Qwen3 VL 및 Qwen2 VL에 대한 최적화를 통해 비전 언어 모델 지원을 개선합니다. vLLM Neuron Plugin의 경우 버전 0.5.0으로 업데이트되었습니다.
Neuron의 프로파일링 및 디버깅 도구 모음인 Neuron Explorer도 베타에서 정식 버전으로 승격했습니다. 이제 System Trace Viewer는 다중 디바이스 프로파일 분석을 위한 전체 디바이스 위젯 세트를 지원하며, 이 도구는 VS Code Extension Marketplace에서 사용할 수 있어 설치가 간편합니다. 전체 릴리스 세부 정보는 AWS Neuron SDK 2.29.0 릴리스 노트를 참조하세요.
SDK는 Inferentia 및 Trainium 인스턴스를 지원하는 모든 AWS 리전에서 사용할 수 있습니다.
자세히 알아보기: