发布于: Dec 22, 2023
AWS Neuron 是基于 Amazon EC2 Inferentia 和 Trainium 的实例的 SDK，专为生成式人工智能而构建。今天，随着 Neuron 2.16 的发布，我们宣布支持在 Inf2 实例上进行 Llama-2 70b 模型推理。
Neuron 与 PyTorch 和 TensorFlow 等常见的机器学习框架集成，因此您可以从最少的代码更改开始，无需供应商特定的解决方案。Neuron 包括编译器、运行时系统、工具和库，用于支持在 Trn1 实例和 Inf2 实例上对生成式人工智能模型进行高性能训练和推理。
Neuron 2.16 增加了对使用 Transformers NeuronX 的 Llama-2 70b 和 Mistral-7b 模型的推理支持。此版本包括对 PyTorch 2.1（测试版）和 Amazon Linux 2023 的支持。Neuron 2.16 通过 PyTorch Lightning Trainer（测试版）支持改善了 LLM 模型训练用户体验。PyTorch 推理现在允许为加载的模型动态交换不同的微调权重。此版本引入了 Neuron 分布式事件跟踪 (NDET) 工具，以提高 Neuron Profiler 工具的可调试性和对集体通信运算符进行概要分析。
您可以使用 AWS Neuron SDK 在 Trn1 和 Inf2 实例上训练和部署模型，这些实例在以下 AWS 区域以按需型实例、预留实例和竞价型实例的形式提供，或者作为节省计划的一部分提供：美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）和美国东部（俄亥俄州）。
有关 Neuron 2.16 新功能和增强功能的完整列表，请访问 Neuron 发行说明。要开始使用 Neuron，请参阅：