一般問題

問:什麼是 Amazon Elastic Inference?

答:Amazon Elastic Inference (Amazon EI) 是一項加速運算服務,可讓您將適當數量且使用 GPU 支援的推論加速連接到任何 Amazon EC2 執行個體類型、Amazon SageMaker 執行個體類型或 Amazon ECS 任務。這表示您現在可以選擇最符合應用程式整體運算、記憶體和儲存需求的執行個體類型,然後分別設定所需的推論加速數量。

問:什麼是 Amazon Elastic Inference 加速器?

答:Amazon Elastic Inference 加速器是使用 GPU 支援的硬體裝置,專為與任何 EC2 執行個體、Sagemaker 執行個體 或 ECS 任務搭配使用所設計,只需低成本就可加速深度學習推斷工作負載。當您利用 Amazon Elastic Inference 啟動 EC2 執行個體或 ECS 任務時,就會佈建加速器並透過網路連接到執行個體。針對 Amazon Elastic Inference 啟用的 TensorFlow Serving、Apache MXNet 和 PyTorch 等深度學習工具與架構,可自動偵測模型運算並卸載到連接的加速器。

問:Amazon Elastic Inference 加速器系列類型之間有什麼區別?

答:EIA2 加速器的 GPU 記憶體是等效 EIA1 加速器的兩倍。您可以根據型號和 Tensor 輸入大小確定 GPU 記憶體需求,然後選擇適合您需求的合適的加速器系列和類型。

設定

問:如何佈建 Amazon Elastic Inference加速器?

答:您可以使用 AWS 管理主控台、AWS 命令列界面 (CLI) 或 AWS 開發套件,透過 Amazon Elastic Inference 加速器設定 Amazon SageMaker 端點、Amazon EC2 執行個體或 Amazon ECS 任務。透過加速器啟動 EC2 執行個體有兩個要求。首先,需要針對您計劃在其中啟動加速器的子網路佈建 AWS PrivateLink VPC 端點。其次,啟動執行個體時,您需要為執行個體角色提供政策,允許使用者存取該執行個體以連接到加速器。當您設定執行個體以透過 Amazon EI 啟動時,會在 VPC 端點後的相同可用區域佈建加速器。

問:Amazon Elastic Inference 支援哪些模型格式?

答:Amazon Elastic Inference 支援使用 TensorFlow、Apache MXNet、PyTorch 和 ONNX 等模型訓練的模型。

問:是否可使用 TensorFlow、Apache MXNet 或 PyTorch 架構在 Amazon Elastic Inference 上部署模型?

答:是,您可以使用 AWS 強化的 TensorFlow Serving、Apache MXNet 和 PyTorch 程式庫進行模型部署和推斷叫用。

問:如何存取 AWS 優化架構?

答:AWS Deep Learning AMI 包含最新版本 TensorFlow Serving、Apache MXNet 和 PyTorch,都已經過優化可與 Amazon Elastic Inference 加速器搭配使用。您也可以透過 Amazon S3 取得程式庫,建立自己的 AMI 或容器映像。如需詳細資訊,請參閱我們的文件 (https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/elastic-inference.html) for more information。

問:是否可使用 CUDA 搭配 Amazon Elastic Inference 加速器?

答:否。您只能使用 AWS 強化的 TensorFlow Serving、Apache MXNet 或 PyTorch 程式庫作為 Amazon Elastic Inference 加速器的界面。

定價和帳單

問:使用 Amazon Elastic Inference 的費用為何?

答:使用 Amazon Elastic Inference 加速器,您只需要為使用的小時數付費。如需詳細資訊,請參閱定價頁面

問:使用 Amazon Elastic Inference 服務的 AWS PrivateLink VPC 端點是否需要付費?

答︰否。VPC 端點到 Amazon Elastic Inference 服務無須費用,只要您至少有一個使用加速器設定的執行個體,且在佈建 VPC 端點的可用區域中執行即可。

Standard Product Icons (Features) Squid Ink
進一步了解定價

如需詳細的定價資訊,請參閱 Amazon Elastic Inference 定價頁面。

進一步了解 
Sign up for a free account
註冊免費帳戶

立即存取 AWS 免費方案 

註冊 
Standard Product Icons (Start Building) Squid Ink
開始在主控台進行建置

在 Amazon SageMaker 或 Amazon EC2 開始使用 Amazon Elastic Inference。

登入