AWS Neuron SDK 2.29.0 现已发布，其中 NKI 和 Neuron Explorer 为稳定版（结束测试版），并新增 CPU 模拟器以及扩展的 NKI 库
在此版本中，AWS Neuron SDK 2.29.0 将 Neuron Kernel 接口（NKI）从测试版升级为稳定版，版本号为 0.3.0。NKI 支持开发人员使用基于 Python 的语法，直接对 AWS Trainium 和 AWS Inferentia NeuronCores 进行低级编程访问。此版本引入了 NKI 标准库，该库向开发人员公开了所有 NKI API 及原生语言对象的源代码。此外，它还包含一个新的 CPU 模拟器，支持开发人员使用标准的 Python 调试工具在标准 CPU 上本地编写、测试和调试 NKI 内核，无需 Trainium 硬件。NKI 0.3.0 还新增了多项 ISA 级功能，包括专用指数运算指令、矩阵乘法累加控制、Trn3 的 DMA 优先级设置，以及可变长度的全对全集合操作。
NKI 库新增了 7 个实验性内核，涵盖 Conv1D、多层 Transformer 令牌生成巨型内核、针对 Trainium2 的融合通信-计算原语，以及动态分块操作。现有内核也得到了改进。Attention CTE 进行了扩展，可支持更大的批处理和序列长度，MLP 增加了混合精度量化路径，而 MoE TKG 引入了动态全专家算法。
在推理方面，NxD Inference 通过针对 Qwen3 VL 和 Qwen2 VL 的优化（包括文本模型序列并行和视觉数据并行）提升了对视觉语言模型的支持。vLLM Neuron 插件已更新至 0.5.0 版本。
Neuron Explorer（Neuron 的性能分析与调试工具套件）也从测试版升级为了稳定版。System Trace Viewer 现在支持全套设备小部件，用于多设备性能分析，该工具可在 VS Code 扩展市场上获取，安装流程更加便捷。有关完整的发布详情，请参阅 AWS Neuron SDK 2.29.0 发布说明。
该 SDK 已在支持 Inferentia 和 Trainium 实例的所有 AWS 区域推出。
了解更多信息：