AWS Neuron 引入对 Trainium2 和 NxD Inference 的支持
今天，AWS 宣布发布 Neuron 2.21，引入了对 AWS Trainium2 芯片和 Amazon EC2 Trn2 实例的支持，其中包括trn2.48xlarge 实例类型和 Trn2 UltraServer。此次发布还增加了对 PyTorch 2.5 的支持，并引入了 NxD Inference 和 Neuron Profiler 2.0（测试版）。NxD Inference 是一种基于 PyTorch 的新库，与 vLLM 集成并简化了大型语言模型和多模态模型的部署，只需最少量的代码更改即可接入 PyTorch 模型。Neuron Profiler 2.0（测试版）是一款新的分析工具，增强了功能和可用性，并支持分布式工作负载。
Neuron 2.21 还引入了对 Llama 3.1 405B 模型推理的支持，可以使用 NxD Inference 在一个 trn2.48xlarge 实例上进行处理。此次发布更新了深度学习容器（DLC）和深度学习 AMI（DLAMIS），并增加了对各种模型架构的支持，包括 Llama 3.2、Llama 3.3 和专家混合（MoE）模型。新的推理功能包括 FP8 权重量化和快速解码，可以用于 NeuronX（TNx）环境中 Transformer 模型的推测解码。此外，还添加了新的训练示例和功能，例如在 Trn2 实例上支持 HuggingFace Llama 3/3.1 70B 模型，以及对训练后模型校准的 DPO 支持。
AWS Neuron SDK 支持在 Trn1、Trn2 和 Inf2 实例上训练和部署模型，这些实例在 AWS 区域以按需型实例、预留实例和竞价型实例的形式提供，或者作为节省计划的一部分提供。
有关 Neuron 2.21 中的新功能和增强功能的完整列表以及如何开始使用 Neuron，请参阅：