張貼日期: Jun 15, 2020
您現可使用 Amazon Elastic Kubernetes Service (EKS) 在 Amazon EC2 Inf1 執行個體上執行容器。藉由 EKS 和 AWS Neuron Kubernetes 裝置引擎，可以輕鬆組合叢集中的多個 Inferentia 裝置，以便大規模執行高效能和符合成本效益的推論工作負載。
Amazon EC2 Inf1 執行個體帶來雲端內的高效能和最低成本機器學習推論。Inf1 執行個體內建最多 16 片 AWS Inferentia 晶片，這些高效能機器學習推論晶片是由 AWS 設計和建置。客戶可以使用 Inf1 執行個體執行大規模機器學習推斷應用程式，例如，影像辨識、語音辨識、自然語言處理、個人化和詐騙偵測。一旦已訓練好能迎合您要求的機器學習模型，就可使用 AWS Neuron 部署您的模型。AWS Neuron 是專業的軟體開發套件 (SDK)，內含編譯器、執行時間和分析工具，最佳化 Inferentia 晶片的機器學習推論效能，以及支援熱門機器學習框架，例如 TensorFlow、PyTorch 或 MXNet。
Amazon EKS 透過使用所有必要的 AWS Neuron 套件更新 EKS-Optimized Accelerated AMI，讓您輕鬆執行以 Inferentia 為基礎的容器。在基於最新的 Accelerated AMI 啟動含工作節點的叢集後，您可以安裝 AWS Neuron Kubernetes 裝置外掛程式，其可將 Inferentia 裝置當作可用資源通告給工作節點 kubelet。相較於使用獨立 EC2 Inf1 執行個體，此精細的排程功能可讓 EKS 客戶實現更佳的利用率和更大的成本節省。
EC2 Inf1 執行個體可在提供 Inf1 的區域中所有執行 1.14 及更高版本的 EKS 叢集上使用。目前僅支援自我管理節點群組，且僅可使用 eksctl、CloudFormation 或 AWS CLI 啟動。未來的版本中將新增 EKS 受管節點群組支援。若要開始使用，請瀏覽 Amazon EKS 說明文件。若要進一步了解 Inf1 執行個體和 Inferentia，請查閱 Amazon EC2 說明文件。