一般問題

問:什麼是 Amazon Elastic Inference?

答:Amazon Elastic Inference (Amazon EI) 是一項加速運算服務,可讓您將適當數量且使用 GPU 支援的推論加速連接到任何 Amazon EC2 執行個體類型、Amazon SageMaker 執行個體類型或 Amazon ECS 任務。這表示您現在可以選擇最符合應用程式整體運算、記憶體和儲存需求的執行個體類型,然後分別設定所需的推論加速數量。

問:什麼是 Amazon Elastic Inference 加速器?

答:Amazon Elastic Inference 加速器是使用 GPU 支援的硬體裝置,專為與任何 EC2 執行個體、Sagemaker 執行個體 或 ECS 任務搭配使用所設計,只需低成本就可加速深度學習推斷工作負載。當您利用 Amazon Elastic Inference 啟動 EC2 執行個體或 ECS 任務時,就會佈建加速器並透過網路連接到執行個體。針對 Amazon Elastic Inference 啟用的 TensorFlow Serving、Apache MXNet 和 PyTorch 等深度學習工具與架構,可自動偵測模型運算並卸載到連接的加速器。

問:Amazon Elastic Inference 加速器系列類型之間有什麼區別?

答:EIA2 加速器的 GPU 記憶體是等效 EIA1 加速器的兩倍。您可以根據型號和 Tensor 輸入大小確定 GPU 記憶體需求,然後選擇適合您需求的合適的加速器系列和類型。

設定

問:如何佈建 Amazon Elastic Inference加速器?

答:您可以使用 AWS 管理主控台、AWS 命令列界面 (CLI) 或 AWS 開發套件,透過 Amazon Elastic Inference 加速器設定 Amazon SageMaker 端點、Amazon EC2 執行個體或 Amazon ECS 任務。透過加速器啟動 EC2 執行個體有兩個要求。首先,需要針對您計劃在其中啟動加速器的子網路佈建 AWS PrivateLink VPC 端點。其次,啟動執行個體時,您需要為執行個體角色提供政策,允許使用者存取該執行個體以連接到加速器。當您設定執行個體以透過 Amazon EI 啟動時,會在 VPC 端點後的相同可用區域佈建加速器。

問:Amazon Elastic Inference 支援哪些模型格式?

答:Amazon Elastic Inference 支援使用 TensorFlow、Apache MXNet、PyTorch 和 ONNX 等模型訓練的模型。

問:是否可使用 TensorFlow、Apache MXNet 或 PyTorch 架構在 Amazon Elastic Inference 上部署模型?

答:是,您可以使用 AWS 強化的 TensorFlow Serving、Apache MXNet 和 PyTorch 程式庫進行模型部署和推斷叫用。

問:如何存取 AWS 優化架構?

答:AWS Deep Learning AMI 包含最新版本 TensorFlow Serving、Apache MXNet 和 PyTorch,都已經過優化可與 Amazon Elastic Inference 加速器搭配使用。您也可以透過 Amazon S3 取得程式庫,建立自己的 AMI 或容器映像。如需詳細資訊,請參閱我們的文件 (https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/elastic-inference.html) for more information。

問:是否可使用 CUDA 搭配 Amazon Elastic Inference 加速器?

答:否。您只能使用 AWS 強化的 TensorFlow Serving、Apache MXNet 或 PyTorch 程式庫作為 Amazon Elastic Inference 加速器的界面。

定價和帳單

問:使用 Amazon Elastic Inference 的費用為何?

答:使用 Amazon Elastic Inference 加速器,您只需要為使用的小時數付費。如需詳細資訊,請參閱定價頁面

問:使用 Amazon Elastic Inference 服務的 AWS PrivateLink VPC 端點是否需要付費?

答︰否。VPC 端點到 Amazon Elastic Inference 服務無須費用,只要您至少有一個使用加速器設定的執行個體,且在佈建 VPC 端點的可用區域中執行即可。

進一步了解定價

如需詳細的定價資訊,請參閱 Amazon Elastic Inference 定價頁面。

進一步了解 
註冊免費帳戶

立即存取 AWS 免費方案 

註冊 
開始在主控台進行建置

在 Amazon SageMaker 或 Amazon EC2 開始使用 Amazon Elastic Inference。

登入