Amazon SageMaker Neo

只需訓練模型一次、即可隨處執行,而且效能高達 2 倍。

Amazon SageMaker Neo 讓開發人員只需訓練機器學習模型一次,即可在雲端和邊緣的任何地方執行。Amazon SageMaker Neo 能優化模型,讓執行速度快達兩倍,記憶體使用量不到十分之一,而且不會降低準確性。

開發人員花費大量時間和精力提供準確的機器學習模型,以便以快速、低延遲的方式進行即時預測。這對邊緣裝置尤其重要,因為其記憶體和處理能力往往受到高度限制,但延遲非常重要。例如,自動駕駛車輛的感應器通常必須在千分之一秒的時間內處理完資料,資料才不會失去時效性,因此不可能在雲端來回傳送資料後再傳回到車輛。而且,邊緣裝置有各種不同的硬體平台和處理器架構。為了實現高效能,開發人員需要花費數週或數月的時間,手動調整每一個模型。此外,複雜的調整過程意味著模型部署到邊緣之後,便很少更新。開發人員失去了根據邊緣裝置收集的資料,重新訓練和改進模型的機會。

Amazon SageMaker Neo 會自動優化機器學習模型,讓執行速度提升高達兩倍,而且不會降低準確性。首先使用 MXNet、TensorFlow、PyTorch 或 XGBoost 建立的機器學習模型,然後透過 Amazon SageMaker 進行訓練。接著從 Intel、NVIDIA 或 ARM 中選擇目標硬體平台。只需按一下滑鼠,SageMaker Neo 就會將訓練好的模型編譯成可執行檔。編譯器使用神經網路找出所有特定效能優化並加以套用,讓模型以最有效率的方式在目標硬體平台上執行。接著,您就能部署該模型,開始在雲端或邊緣進行預測。您可以使用 AWS Greengrass 將本機運算和 ML 推論功能帶到邊緣裝置。為了簡化邊緣部署,AWS Greengrass 支援 Neo 優化模型,讓您透過無線更新將模型直接部署到邊緣。

Neo 使用 Apache TVM 和其他合作夥伴提供的編譯程式與核心程式庫。Neo 透過 Apache 軟體授權以開放原始碼的形式提供作為 Neo-AI 專案,讓開發人員為不同的裝置和應用程式自訂軟體。

優勢

以高達 2 倍的效能執行 ML 模型

Amazon SageMaker Neo 可自動優化 TensorFlow、MXNet、PyTorch 和 XGBoost 機器學習模型,以高達兩倍的速度執行,而且不會降低準確度。SageMaker Neo 可透過深度學習找出程式碼優化,並套用到特定模型和要部署該模型的硬體。不用耗費數週的精力,即可獲得手動調整效能的優勢。



將架構大小減少 10 倍

Amazon SageMaker Neo 可刪減模型架構中的軟體操作,僅留下預測所需的操作。通常,這可讓架構所需的記憶體數量減少 10 倍。將模型和架構編譯成一個可執行檔之後,就可部署到生產環境以進行快速、低延遲的預測。 

在多個硬體平台執行相同的 ML 模型

使用 Amazon SageMaker Neo 只要訓練模型一次,即可以單一執行檔的形式在幾乎任何地方執行。Neo 了解如何針對 Intel、NVIDIA、ARM、Cadence、Qualcomm 和 Xilinx 處理器架構自動優化您的模型,您只需在 Amazon SageMaker 主控台輕鬆按幾下,即可讓您的模型在多個平台執行。 

運作方式

Product-Page-Diagram_Neo-How-it-Works

主要特色

使用您偏好的深度學習架構

Amazon SageMaker Neo 將 TensorFlow、MXNet 和 PyTorch 的架構專屬功能和操作,編譯成可在任何地方執行的單一可執行檔。Neo 可自動編譯並產生所需的軟體程式碼。

簡單及高效的軟體操作

Amazon SageMaker Neo 可輸出部署在雲端執行個體和邊緣裝置上的可執行檔。Neo 執行時間可將部署平台上的資源 (如儲存) 使用量縮減 10 倍,並消除架構的相依性。例如,Neo 執行時間使用 2.5 MB 的儲存,而架構相依部署則會使用高達 1 GB 的儲存。

開放原始碼軟體

Neo 透過 Apache 軟體授權以開放原始碼的形式提供作為 Neo-AI 專案。這可讓開發人員和硬體廠商自訂應用程式和硬體平台,並充分利用 Neo 的優化和縮減資源使用率技術。 

Product-Page_Standard-Icons_01_Product-Features_SqInk
查看 Amazon SageMaker Neo 的各項功能

有關 Amazon SageMaker Neo 的操作說明,請參閱文件。

Product-Page_Standard-Icons_02_Sign-Up_SqInk
註冊免費帳戶

立即存取 AWS 免費方案。 

註冊 
Product-Page_Standard-Icons_03_Start-Building_SqInk
開始在主控台進行建置

開始在 AWS 管理主控台使用 Amazon SageMaker Neo 進行建置。

登入