Amazon Elastic Inference 常見問答集

問：為什麼 Amazon 鼓勵客戶將工作負載從 Amazon Elastic Inference (EI) 移至較新的硬體加速選項，例如 AWS Inferentia？

客戶可以透過 AWS Inferentia 等新硬體加速器選項，以比 Amazon EI 更優惠的價格獲得更出色的效能。AWS Inferentia 能在雲端提供高效能推論，以降低推論的總成本，同時便於開發人員將機器學習整合進其商業應用程式。為了讓客戶能夠享受這類新一代硬體加速器的優點，在 2023 年 4 月 15 日之後，我們不會將新客戶加入 Amazon EI。

問：哪些 AWS 服務受到停止將新客戶布設至 Amazon Elastic Inference (EI) 的移動影響？

此公告將影響連接至任何 Amazon EC2、Amazon SageMaker 執行個體或 Amazon Elastic Container Service (ECS) 任務的 Amazon EI 加速器。在 Amazon SageMaker 中，這套用至使用 Amazon EI 加速器的端點和筆記型電腦內核。

問：我是否可以在 2023 年 4 月 15 日之後建立新的 Amazon Elastic Inference (EI) 加速器？

不可以，如果您是新客戶並且在過去 30 天內沒有使用 Amazon EI，那麼您將無法在 2023 年 4 月 15 日之後於 AWS 帳戶中建立新的 Amazon EI 執行個體。但是，如果您在過去 30 天內至少使用過一次 Amazon EI 加速器，則可以在執行個體上安裝新的 Amazon EI 加速器。

問：我們目前使用 Amazon Elastic Inference (EI) 加速器。可以在 2023 年 4 月 15 日之後繼續使用它們嗎？

是的，您將可以使用 Amazon EI 加速器。我們建議您儘早將 Amazon EI 上執行的目前 ML 推論工作負載遷移到其他硬體加速器選項。

問：如何評估目前 Amazon SageMaker 推論端點的替代執行個體選項？

Amazon SageMaker Inference Recommender 可協助您識別符合成本效益的部署，將現有工作負載從 Amazon Elastic Inference (EI) 遷移到 SageMaker 支援的適當 ML 執行個體。

問：如何在 Amazon SageMaker 中變更現有端點的執行個體類型？

• 首先，建立使用新執行個體類型的新端點 EndpointConfig。如果您有自動擴展政策，請刪除現有的自動擴展政策。
• 在指定新建立的 EndpointConfig 時呼叫 UpdateEndpoint。
• 等待端點狀態變更為「服務中」。這將需要大約 10-15 分鐘。
• 最後，如果您需要為新端點自動擴展，請為此新端點和 ProductionVariant 建立新的自動擴展政策。

問：如何使用 Amazon Elastic Inference (EI) 變更現有 Amazon SageMaker 筆記本執行個體的執行個體類型？

在主控台中點按「筆記本執行個體」，然後點按要更新的筆記本執行個體。確定筆記本執行個體的狀態為「已停止」。最後，您可以點按「編輯」並變更執行個體類型。請確定在您的筆記本執行個體啟動時，為新執行個體選取正確的內核。

問：是否有特定的執行個體類型可以替代 Amazon Elastic Inference (EI)？

每個機器學習工作負載都是唯一的。我們建議您使用 Amazon SageMaker Inference Recommender，協助您識別適合機器學習工作負載、效能需求和預算的正確執行個體類型。AWS Inferentia，特別是 inf1.xlarge，是 Amazon EI 客戶的最佳高效能和低成本替代方案。在下表中，我們比較了帶有 Inferentia 的 SageMaker 上不同 Amazon EI 加速器選項的效能和每小時價格。Inferentia 提供最佳的價格和效能，而且每小時比所有 Amazon EI 執行個體便宜，假設使用 c5.xlarge 主機執行個體 (請參閱下表)。請注意，在 AWS Inferentia 上部署模型之前，必須先編譯模型。SageMaker 客戶可以使用 SageMaker Neo 設定「ml_inf」作為 TargetDevice 來編譯其模型。如果未使用 SageMaker，請直接使用 AWS Neuron 編譯器。

以下價格假設為 us-east-2 區域

問：什麼是 Amazon Elastic Inference？

答：Amazon Elastic Inference (Amazon EI) 是一項加速運算服務，可讓您將適當數量且使用 GPU 支援的推論加速連接到任何 Amazon EC2 執行個體類型、Amazon SageMaker 執行個體類型或 Amazon ECS 任務。這表示您現在可以選擇最符合應用程式整體運算、記憶體和儲存需求的執行個體類型，然後分別設定所需的推論加速數量。

問：什麼是 Amazon Elastic Inference 加速器？

答：Amazon Elastic Inference 加速器是使用 GPU 支援的硬體裝置，專為與任何 EC2 執行個體、Sagemaker 執行個體 或 ECS 任務搭配使用所設計，只需低成本就可加速深度學習推斷工作負載。當您利用 Amazon Elastic Inference 啟動 EC2 執行個體或 ECS 任務時，就會佈建加速器並透過網路連接到執行個體。針對 Amazon Elastic Inference 啟用的 TensorFlow Serving、Apache MXNet 和 PyTorch 等深度學習工具與架構，可自動偵測模型運算並卸載到連接的加速器。

問：Amazon Elastic Inference 加速器系列類型之間有什麼區別？

答：EIA2 加速器的 GPU 記憶體是等效 EIA1 加速器的兩倍。您可以根據型號和 Tensor 輸入大小確定 GPU 記憶體需求，然後選擇適合您需求的合適的加速器系列和類型。

問：如何佈建 Amazon Elastic Inference加速器？

答：您可以使用 AWS 管理主控台、AWS 命令列界面 (CLI) 或 AWS 開發套件，透過 Amazon Elastic Inference 加速器設定 Amazon SageMaker 端點、Amazon EC2 執行個體或 Amazon ECS 任務。透過加速器啟動 EC2 執行個體有兩個要求。首先，需要針對您計劃在其中啟動加速器的子網路佈建 AWS PrivateLink VPC 端點。其次，啟動執行個體時，您需要為執行個體角色提供政策，允許使用者存取該執行個體以連接到加速器。當您設定執行個體以透過 Amazon EI 啟動時，會在 VPC 端點後的相同可用區域佈建加速器。

問：Amazon Elastic Inference 支援哪些模型格式？

答：Amazon Elastic Inference 支援使用 TensorFlow、Apache MXNet、PyTorch 和 ONNX 等模型訓練的模型。

問：是否可使用 TensorFlow、Apache MXNet 或 PyTorch 架構在 Amazon Elastic Inference 上部署模型？

答：是，您可以使用 AWS 強化的 TensorFlow Serving、Apache MXNet 和 PyTorch 程式庫進行模型部署和推斷叫用。

問：如何存取 AWS 優化架構？

答：AWS Deep Learning AMI 包含最新版本 TensorFlow Serving、Apache MXNet 和 PyTorch，都已經過優化可與 Amazon Elastic Inference 加速器搭配使用。您也可以透過 Amazon S3 取得程式庫，建立自己的 AMI 或容器映像。如需詳細資訊，請參閱我們的文件 (https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/elastic-inference.html) for more information。

問：是否可使用 CUDA 搭配 Amazon Elastic Inference 加速器？

答：否。您只能使用 AWS 強化的 TensorFlow Serving、Apache MXNet 或 PyTorch 程式庫作為 Amazon Elastic Inference 加速器的界面。

問：使用 Amazon Elastic Inference 的費用為何？

答：使用 Amazon Elastic Inference 加速器，您只需要為使用的小時數付費。如需詳細資訊，請參閱定價頁面。

問：使用 Amazon Elastic Inference 服務的 AWS PrivateLink VPC 端點是否需要付費？

答︰否。VPC 端點到 Amazon Elastic Inference 服務無須費用，只要您至少有一個使用加速器設定的執行個體，且在佈建 VPC 端點的可用區域中執行即可。