Amazon SageMaker Neo 现在支持为 Inferentia 2 和 Trainium 1 实例编译 PyTorch 和 TensorFlow 模型

即日起，您可以选择 Inferentia 2 和 Trainium 1 作为额外的目标，为 Amazon SageMaker Neo 编译 PyTorch 和 TensorFlow 模型，Amazon SageMaker Neo 是 Amazon SageMaker 的一项功能，使客户能够优化机器学习 (ML) 模型，以便在 SageMaker 上进行推理，从而在不损失任何准确性的情况下实现更快的推理。Amazon Elastic Compute Cloud (Amazon EC2) Inf2 实例以最低的成本为生成式人工智能 (AI) 模型（包括大型语言模型 (LLM) 和视觉转换器）提供高性能。AWS Trainium 是 AWS 专门为超过 1,000 亿个参数模型的深度学习训练打造的机器学习 (ML) 加速器。

Inferentia 2 实例在 us-east-2 中可用，Trainium 1 实例在 us-east-1 中可用。只需选择 ml_inf2 或 ml_trn1 作为目标设备，即可通过控制台快速开始使用。如果您通过 SDK 使用 Neo 编译模型，请在输出配置中将 TargetDevice 字段设置为 ml_inf2 或 ml_trn1。支持的框架有 PyTorch 1.13 和 TensorFlow 2.10。在此处了解更多信息。

要了解有关 AWS Sagemaker Neo 和控制台体验的更多信息，请在此处查看文档。要开始使用，请登录 Amazon SageMaker 控制台。