Amazon Elastic Inference 可讓您將適當數量且使用 GPU 支援的推論加速連接到任何 Amazon EC2 或 Amazon SageMaker 執行個體類型。這表示您現在可以選擇最符合應用程式整體運算、記憶體和儲存需求的執行個體類型,然後分別設定所需的推論加速數量。 

與 Amazon SageMaker 及 Amazon EC2 整合

在 AWS 上執行推論工作負載的方式有兩種:將您的模型部署於 Amazon SageMaker 以獲得全受管體驗,或者在 Amazon EC2 執行個體上執行模型並自行管理。Amazon Elastic Inference 已經過整合可順暢搭配 Amazon SageMaker 和 Amazon EC2 運作,讓您在這兩個使用情境中都能新增推論加速。運用 Amazon SageMaker,您即可在建立模型的 HTTPS 端點時指定所需的推論加速數量,也可透過 Amazon EC2 在您啟動推論時進行此操作。

TensorFlow 及 Apache MXNet 支援

Amazon Elastic Inference 是專為搭配 AWS 的增強版 TensorFlow Serving 與 Apache MXNet 使用所設計。這些增強功能可讓架構自動偵測推論加速器,以最佳方式散佈加速器 GPU 與執行個體 CPU 之間的模型運作,以及使用 AWS Identity and Access Management (IAM) 政策以安全地控制加速器存取。Amazon SageMaker 和 AWS Deep Learning AMI 會自動提供增強 TensorFlow Serving 與 MXNet 程式庫,因此您無需進行任何程式碼變更即可在生產環境中部署模型。您也可以遵循這裡的指示分別下載。

Open Neural Network Exchange (ONNX) 格式支援

ONNX 為開放格式,可在一個深度學習架構中訓練模型,接著將其移轉至至另一個架構來進行推論。 這能讓您善用不同架構的相對優勢。例如,透過 ONNX,您便能利用 PyTorch 的彈性來建立並訓練模型,接著將其移轉至 Apache MXNet,讓模型能以有效率的方式大規模執行推論。ONNX 已整合至 PyTorch、MXNet、Chainer、Caffe2 和 Microsoft Cognitive Toolkit,並針對包括 TensorFlow 在內的許多其他架構提供連接器。若要搭配 Amazon Elastic Inference 使用 ONNX 模型,經過訓練的模型必須轉移至經過 AWS 最佳化的 Apache MXNet 版本進行生產部署。

單精度或混合精度作業的選擇

Amazon Elastic Inference 加速器支援單精度 (32 位元浮點) 作業以及混合精度 (16 位元浮點) 作業。單精度可提供極大數字範圍來呈現您的模型所用的參數。不過,大多數模型實際上並不需要這麼高的精度,而計算這麼龐大的數字會導致不必要的效能損失。為避免發生此問題,混合精度操作可讓您將數字範圍縮減一半,從而提升高達 8 倍的推論效能。

多種加速均可使用

Amazon Elastic Inference 在許多輸送量規模中均可使用,範圍涵蓋每個加速器每秒 1 到 32 兆的浮點作業 (TFLOPS),因此使其得以有效率地加速多種推論模型,包括電腦視覺、自然語言處理和語音辨識。相較於獨立 Amazon EC2 P3 執行個體從 125 TFLOPS (目前可用的最小 P3 執行個體) 開始,Amazon Elastic Inference 則從每個加速器單一 TFLOPS 開始。這可讓您以更適合的遞增幅度來調升推論加速的規模。您也可以針對更為複雜的模型,從更大的加速器規模中挑選,最多可達每個加速器 32 TFLOPS。

自動調整規模

Amazon Elastic Inference 可以與您用來調整 Amazon EC2 和 Amazon SageMaker 執行個體規模隸屬於相同的 Amazon EC2 Auto Scaling 群組。當 EC2 Auto Scaling 新增更多 EC2 執行個體以滿足應用程式需求時,它也會調升每個執行個體附加的加速器規模。同樣地,因為需求下降而減少 EC2 執行個體時,Auto Scaling 也會自動減少每個執行個體的附加加速器規模。如此您便能按照應用程式的運算處理能力輕鬆調整推論加速規模,從而滿足應用程式需求。

Product-Page_Standard-Icons_01_Product-Features_SqInk
進一步了解產品定價

檢視 Amazon Elastic Inference 定價。

進一步了解 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
註冊免費帳戶

立即存取 AWS 免費方案。 

註冊 
Product-Page_Standard-Icons_03_Start-Building_SqInk
開始在主控台進行建置

在 Amazon SageMaker 或 Amazon EC2 上開始使用 Amazon Elastic Inference。

登入