发布于: Aug 29, 2023
AWS Neuron 是基于 Amazon EC2 Inferentia 和 Trainium 的实例的 SDK，专为生成式人工智能而构建。 今天，随着 Neuron 2.13 的发布，我们将推出对 Llama 2 模型训练和推理、GPT-NeoX 模型训练的支持，并增加对 Stable Diffusion XL 和 CLIP 模型推理的支持。
Neuron 与 PyTorch 和 TensorFlow 等流行的机器学习框架集成，因此您可以从最少的代码更改开始，无需供应商特定的解决方案。Neuron 包括编译器、运行时、分析工具和库，用于支持在 Trn1 实例上对生成式人工智能模型进行高性能训练和在 Inf2 实例上进行推理。Neuron 2.13 引入了 Nemo Megatron 的 AWS Neuron 参考库，支持 Llama 2 和 GPT-3 等 LLM 的分布式训练，并增加了对 Neuron 分布式库的 GPT-NeoX 模型训练的支持。此版本通过 Transformers Neuron 库添加了对 Llama 2 的优化 LLM 推理支持，以及对使用 PyTorch Neuron 进行的 SDXL、Perceiver 和 CLIP 模型推理的支持。
您可以使用 AWS Neuron SDK 在 Trn1 和 Inf2 实例上训练和部署模型，这些实例在以下 AWS 区域以按需型实例、预留实例和竞价型实例的形式提供，或者作为节省计划的一部分提供：美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）和美国东部（俄亥俄州）。
有关 Neuron 2.13 新功能和增强功能的完整列表，请访问 Neuron 发行说明。要开始使用 Neuron，请参阅：