发布于: Oct 27, 2023
AWS Neuron 是基于 Amazon EC2 Inferentia 和 Trainium 的实例的 SDK，专为生成式人工智能而构建。今天，随着 Neuron 2.15 的发布，我们宣布支持 Llama-2 70b 模型训练以及 PyTorch 2.0。
Neuron 与 PyTorch 和 TensorFlow 等常见的机器学习框架集成，因此您可以从最少的代码更改开始，无需供应商特定的解决方案。Neuron 包括编译器、运行时系统、分析工具和库，用于支持在 Trn1 实例上对生成式人工智能模型进行高性能训练和在 Inf2 实例上进行推理。此版本增加了对 Neuron 分布式库的 Llama-2 70b 模型训练支持，并增加了对 PyTorch 2.0 的测试版支持。
您可以使用 AWS Neuron SDK 在 Trn1 和 Inf2 实例上训练和部署模型，这些实例在以下 AWS 区域以按需型实例、预留实例和竞价型实例的形式提供，或者作为节省计划的一部分提供：美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）和美国东部（俄亥俄州）。
有关 Neuron 2.15 新功能和增强功能的完整列表，请访问 Neuron 发行说明。要开始使用 Neuron，请参阅：