发布于: Dec 3, 2019
今天，我们宣布正式推出 Amazon EC2 Inf1 实例，该实例的构建目的就是用于支持机器学习推理应用程序。Inf1 实例具有多达 16 个 AWS Inferentia 芯片，这是由 AWS 专门设计和打造的高性能机器学习推理芯片。此外，我们还将 Inferentia 芯片与最新的第二代定制 Intel® Xeon® 可扩展处理器与高达 100Gbps 的网络相结合，以实现高吞吐量推理。这一强大的配置使 Inf1 实例提供 Amazon EC2 G4 实例 3 倍的吞吐量，每次推理的成本降低高达 40%，而 Amazon EC2 G4 实例先前一直是云端机器学习推理的最低成本实例。
Amazon EC2 Inf1 实例可在云端提供高性能和更低成本的机器学习推理。借助 Inf1 实例，客户可以在云中以更低的成本运行大规模机器学习推理应用程序，例如图像识别、语音识别、自然语言处理、个性化和欺诈检测。
AWS 使您可以轻松地在 Amazon EC2 Inf1 实例上部署机器学习应用程序。训练好模型后，您可以使用 AWS Neuron，这是一种使用 AWS Inferentia 芯片运行推理的软件开发工具包，由编译器、运行时和性能分析工具组成。Neuron 已预先集成到常用机器学习框架中，其中包括 TensorFlow、Pytorch 和 MXNet，以提供最佳性能的 EC2 Inf1 实例。可以使用 AWS Deep Learning AMI 部署 Inf1 实例，并可通过托管服务（例如 Amazon SageMaker、EKS 和 ECS）使用 Inf1 实例。
Amazon EC2 Inf1 实例有 4 种大小，并且在美国东部（弗吉尼亚北部）和美国西部（俄勒冈）AWS 区域作为按需实例、预留实例、Spot 实例或 Savings Plan 的一部分提供。要了解有关 Inf1 实例的更多信息，请访问 Inf1 页面。