AWS Inferentia

高性能机器学习推理芯片,由 AWS 自定义设计

AWS Inferentia 是一个机器学习推理芯片,旨在以低成本提供高性能。AWS Inferentia 将支持 TensorFlow、Apache MXNet 和 PyTorch 深度学习框架以及使用 ONNX 格式的模型。

使用经过训练的机器学习模型进行预测(称为“推理”的过程)可能会导致应用程序的计算成本高达 90%。使用 Amazon Elastic Inference,开发人员可以通过将 GPU 支持的推理加速附加到 Amazon EC2 和 Amazon SageMaker 实例,将推理成本降低多达 75%。但是,有些推理工作负载需要整个 GPU 或具有极低的延迟要求。以低成本解决此挑战需要专用的推理芯片。

AWS Inferentia 能够以极低的成本提供高吞吐量和低延迟的推理性能。每个芯片提供数百 TOPS(每秒万亿次运算)推理吞吐量,以允许复杂模型进行快速预测。对于更复杂的性能需求,可以组合使用多个 AWS Inferentia 芯片来支持数千 TOPS 的吞吐量。AWS Inferentia 可以与 Amazon SageMaker、Amazon EC2 和 Amazon Elastic Inference 一起使用。

注册以获得服务可用性通知

要了解 AWS Inferentia 可用性,请在此处注册,我们将在有更多可用信息时向您发送电子邮件。

Product-Page_Standard-Icons_01_Product-Features_SqInk
获得服务可用性更新

AWS Inferentia 即将推出。注册以在有更多可用信息时收到通知。

了解更多 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
注册免费账户

立即享受 AWS 免费套餐。 

注册 
Product-Page_Standard-Icons_03_Start-Building_SqInk
在控制台中开始构建

在 AWS 控制台中开始使用机器学习。

登录