一般性问题

问:什么是 Amazon Elastic Inference?

答:Amazon Elastic Inference (Amazon EI) 是一项加速的计算服务,它允许您向任何 Amazon EC2 或 Amazon SageMaker 实例类型连接适当量级的 GPU 驱动的推理加速。也就是说,您现在可以选择最适合应用整体计算、内存和存储需求的实例类型,然后单独配置所需量级的推理加速。

问:什么是 Amazon Elastic inference 加速器?

答:Amazon Elastic Inference 加速器是 GPU 驱动的硬件设备,专门用于使用任何 EC2 实例类型以较低成本加速深度学习推理工作负载。使用 Amazon Elastic Inference 启动实例时,将通过网络预置加速器并将其连接到实例。为 Amazon Elastic Inference 启用的深度学习工具和框架(如 TensorFlow Serving 和 Apache MXNet)可以自动检测模型计算,并将其卸载到已连接的加速器。

配置

问:如何预置 Amazon Elastic inference 加速器?

答:您可以使用 AWS 管理控制台、AWS 命令行界面 (CLI) 或 AWS 软件开发工具包为 Amazon SageMaker 终端节点或 Amazon EC2 实例配置 Amazon Elastic Inference 加速器。使用加速器启动 EC2 实例需满足两个要求:首先,需要为您计划启动加速器的子网预置 AWS PrivateLink VPC 终端节点。其次,在启动实例时,您需要为实例角色提供一个策略,用于允许用户访问要连接到加速器的实例。将实例配置为使用 Amazon EI 启动时,将在 VPC 终端节点后的同一个可用区中预置加速器。

问:Amazon Elastic Inference 支持哪些模型格式?

答:Amazon Elastic Inference 支持使用 TensorFlow、Apache MXNet 和 ONNX 模型训练的模型。

问:我能否使用 TensorFlow 或 Apache MXNet 框架在 Amazon Elastic Inference 上部署模型?

答:能,您可以使用 AWS 增强型 TensorFlow Serving 和 Apache MXNet 库部署模型,并进行推理调用。

问:如何访问 AWS 优化型框架?

答:AWS 深度学习 AMI 包含已得到优化的 TensorFlow Serving 和 Apache MXNet 的最新版本,以便与 Amazon Elastic Inference 加速器结合使用。此外,您还可以通过 Amazon S3 获取库,以构建自己的 AMI 或容器映像。请参阅我们的文档以了解更多信息。

问:我能否将 CUDA 与 Amazon Elastic inference 加速器结合使用?

答:不能。您只能将 AWS 增强型 TensorFlow Serving 或 Apache MXNet 库作为 Amazon Elastic Inference 加速器的接口。

定价与计费

问:Amazon Elastic Inference 是如何收费的?

答:您只需为使用 Amazon Elastic Inference 加速器的小时数付费。有关更多详细信息,请参阅定价页面

问:我需要为 Amazon Elastic Inference 服务的 AWS PrivateLink VPC 终端节点付费吗?

不需要。只要您至少为一个实例配置了加速器,并且它正在预置 VPC 终端节点的可用区中运行,就无需为 Amazon Elastic Inference 服务的 VPC 终端节点付费。

Product-Page_Standard-Icons_01_Product-Features_SqInk
了解有关定价的更多信息

有关详细的定价信息,请参阅 Amazon Elastic Inference 定价页面。

了解更多 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
注册免费账户

立即享受 AWS 免费套餐。 

注册 
Product-Page_Standard-Icons_03_Start-Building_SqInk
开始在控制台中构建

在 Amazon SageMaker 或 Amazon EC2 上开始使用 Amazon Elastic Inference。

登录