Amazon EC2 Inf1 執行個體

雲端內的高效能和最低成本機器學習推論

Amazon EC2 Inf1 執行個體帶來雲端內的高效能和最低成本機器學習推論。Inf1 執行個體是從基礎開始建置,並支援機器學習推論應用程式。這些執行個體內建最多 16 片 AWS Inferentia 晶片,這些高效能機器學習推論晶片是由 AWS 設計和建構。此外,我們在 Inferentia 晶片中結合了最新的自訂第 2 代 Intel® Xeon® Scalable 處理器,以及最高 100 Gbps 聯網, 帶來高輸送量推論。此強大組態促進 Inf1 執行個體帶來高達 3 倍的更佳輸送量以及比 Amazon EC2 G4 執行個體低最多 40% 的每次推論成本,可說是目前市面上雲端的機器學習推論中的最低成本執行個體。顧客可以雲端最低成本,使用 Inf1 執行個體執行大型的機器學習推論應用程式,例如,影像辨識、語音辨識、自然語言處理、個人化作業和詐騙偵測。

各行各業的顧客紛紛選用機器學習,以因應常用應用程式的現況,例如:提供個人化購物推薦、透過線上內容審核增進財務和資料安全,以及利用 Chatbot,增進客戶參與度。客戶希望機器學習應用程式能帶來更佳效能,以便在能力範圍內提供最佳最終使用者體驗。

若要開始使用 Inf1 執行個體進行機器學習推理,您可以採用經過訓練的機器學習模型,並使用 AWS Neuron 將其編譯為在 AWS Inferentia 晶片上執行。AWS Neuron 是一款軟體開發套件 (SDK),由編譯器、執行階段和分析工具組成,能夠最佳化 Inferentia 晶片的機器學習推理效能。它與 TensorFlow、PyTorch 和 MXNet 等常用的機器學習架構整合,並已預先安裝在 AWS Deep Learning AMI 中,還能在無架構的情況下安裝在您的自訂環境中。開始使用 Inf1 執行個體最簡單、最快速的方法是藉助 Amazon SageMaker,這是一項全受管服務,讓開發人員能夠快速建置、訓練和部署機器學習模型。 Amazon SageMaker 支援 Inf1 執行個體和 AWS Neuron,可一鍵式將機器學習模型部署至跨多個可用區域的自動調整規模 Inf1 執行個體,以實現高冗餘。

SiteMerch-EC2-Instances_accelerated-trial_2up

免費試用:EC2 硬體加速執行個體最高可享價值 10,000 USD 的 AWS 積分,適用於 ML、HPC 和圖形應用程式。

按一下這裡立即申請 
以 AWS Inferentia 為基礎的 Amazon EC2 Inf1 執行個體 (2:51)

優勢

每次推論降低最高 40% 的成本

Inf1 執行個體高輸送量,以及比 Amazon EC2 G4 執行個體低最多 40% 的每次推論成本,可說是目前市面上雲端的機器學習推論中的最低成本執行個體。若機器學習推論在執行機器學習工作負載時,呈現高達 90% 的整體作業成本,就能節省大筆的成本。

高達 3 倍的更佳輸送量

與 Amazon EC2 G4 執行個體相比, Inf1 執行個體為批次推論應用程式帶來 3 倍更佳輸送量。類似照片標記的批次推論應用程式,對推論輸送量,或每秒可處理多少推論的回應都很敏感。Inf1 執行個體的每個執行個體內含 1 至 16 片 AWS Inferentia 晶片,可擴展效能至最高每秒 2000 萬億次運算 (TOPS)。

極低延遲

Inf1 執行個體為即時應用程式帶來極低延遲。 類似語音辨識的即時推論應用程式,需要快速作出推論,以回應使用者的輸入,且能敏感偵測推論延遲度。Inf1 執行個體使用的 AWS Inferentia 晶片擁有更高晶片記憶體,讓機器學習模型在晶片上直接進行快取。此舉杜絕推論時存取外部記憶體資源的需要,因而在不影響頻寬的情況下,就能促進低延遲度。

易用性

Inf1 執行個體容易使用,只需改變少許程式碼,甚至在不需要更改的情況下,就能使用最常用的機器學習框架,例如,TensorFlow、 PyTorch 和 MXNet,支援部署經過訓練的模型。開始使用 Inf1 執行個體最簡單、最快速的方法是藉助 Amazon SageMaker,這是一項全受管服務,讓開發人員能夠快速建置、訓練和部署機器學習模型。

彈性迎合不同機器學習模型的需求

Inf1 執行個體使用 AWS Neuron 後,可支援許多常用的機器學習模型,例如:單次偵測器 (SSD) 和 ResNet,以進行影像辨識/分類,以及 Transformer 和 BERT,進行自然語言處理和翻譯。

支援多種資料類別

Inf1 執行個體支援多種資料類別,包括:INT8、 BF16 和 FP16,並以混合的精準度,支援廣泛系列的模型和效能需求。

Amazon SageMaker

Amazon SageMaker 讓您可以輕鬆地在生產中的 Amazon Inf1 執行個體上編譯和部署經過訓練的機器學習模型,以便開始產生具有低延遲的即時預測。Amazon SageMaker 是一項全受管服務,能讓開發人員和資料科學家快速輕鬆地建立、訓練及部署機器學習模型。 Amazon SageMaker 可消除機器學習過程中每個步驟的繁重工作,讓開發高品質模型變得輕而易舉,對其進行調整以最佳化效能,並且更快地將其部署至生產中。 AWS Neuron 是一款 AWS Inferentia 編譯器,與 Amazon SageMaker Neo 整合,以便您編譯經過訓練的機器學習模型,從而在 Inf1 執行個體上以最佳方式執行。藉助 Amazon SageMaker,您可以輕鬆地選擇分佈於多個可用區域的 Inf1 執行個體自動調整規模叢集上執行模型,以提供高效能和高可用性即時推理。

進一步了解 »

運作方式

如何使用 Inf1 和 AWS Inferentia

AWS Inferentia 晶片

AWS Inferentia 是 AWS 設計和建置的機器學習推論晶片,以低成本帶來高效能。每片 AWS Inferentia 晶片都有 4 個 Neuron 核心,並支援 FP16、 BF16 和 INT8 資料類別。AWS Inferentia 晶片具有大量的片上記憶體,可用於快取大型模型,這對於需要頻繁存取記憶體的模型尤其有益。AWS Inferentia 隨附 AWS Neuron 軟體開發套件 (SDK),該套件由編譯器、執行階段和分析工具組成。藉此使用以 AWS Inferentia 為基礎的 Amazon EC2 Inf1 執行個體,讓在 Tensorflow、PyTorch 和 MXNet 等常用架構中建立和經過訓練的複雜神經網路模型得以執行。此外,AWS Neuron 還支援使用高速物理晶片至晶片互連,將大型模型拆分為多個 Inferentia 晶片來執行的功能,從而提供高推理輸送量並降低推理成本。

進一步了解 >>

使用案例

建議

Machine Learning 能夠發掘個人化產品和內容推薦、提供量身打造的搜尋結果並鎖定目標受眾來推廣行銷,因此目前正廣泛應用於提升客戶參與度。

預測

從簡單的試算表,到複雜的財務規劃軟體,今天的公司設法精確預測未來的事業成果,例如:產品需求、資源需要或財務績效。這些工具檢視一系列名為時間系列資料的歷史記錄,以建立預測。公司越來越常使用機器學習,以結合時間系列資料和更多變數,以建立預測。

影像和影片分析

今天,我們用機器學習來辨識物件、人、文字、場景和活動,以及偵測影像或影片內的任何不妥內容。此外,影像和影片的臉部分析和臉部辨識,也可偵測、分析及比對臉部運用在使用者驗證、計算人數和公共安全等各種使用案例。

進階文字分析

機器學習特別擅長準確識別大量文字中的特定相關項目 (例如,在分析報告中尋找公司名稱),並可以學習語句中所隱含的情緒 (識別負面評論或客戶與客戶服務人員的良性互動),具備幾乎無限的擴展能力。

文件分析

機器學習能立即「讀取」幾乎任何類型的文件,以準確地擷取文字和資料,無須任何人力或自訂程式碼。您可快速自動化文件工作流程,以便在幾小時內處理數百萬個文件頁面。

語音

企業可使用機器學習,將文字轉換成逼真說話方式,讓您建立會說話的應用程式和打造全新的啟用語音產品類別。文字轉換語音 (TTS) 服務運用先進深度學習技術,合成語音聽起來就像真人發音一樣。

交談代理程式

AI 透過加入聊天機器人服務,在客服中心增進客戶體驗。聊天機器人指的是智慧型自然語言虛擬助理。這些聊天機器人能識別真人說話,而且來電者無須說出特定的片語,他們也能了解來電者的目的。來電者可執行密碼變更、查詢帳戶餘額或排程約會等任務,無須與客服人員對談。

翻譯

相較於舊有的統計與規則式翻譯演算法,公司可使用以機器學習為基礎的翻譯,提供更加精準而自然的翻譯。公司可將網站和應用程式等內容翻譯成各國使用者的語言,而且能輕鬆有效地翻譯大量的文字。

轉寫

機器學習轉寫用於多種常見的用途,包括轉寫客戶服務通話以及針對音訊和影片內容產生字幕。撰寫服務可為每個文字放置時間戳記,方便您透過搜尋文字的方式在原始來源找出音訊。

詐騙偵測

使用機器學習偵測詐騙偵測可能的詐騙活動,以及標示該活動以進行檢查。詐騙偵測具體用於金融服務業,利用根據金額、地點、商戶或時間的交易評分模型,將交易分類為合法或詐騙。

醫療保健

醫療保健的機器學習旨在讓醫生可以更快治療病患,不僅要降低成本,還要改善結果。醫院利用整合不同的資料組 (例如,病患回報的資料、感測器資料和許多其他資料來源) 至掃描流程,增進傳統的 X 光成像技術,例如:超音波和 CT 掃描,讓這些演算法能分辨正常與異常結果的差異。

定價

入門

若要將經過訓練的機器學習模型編譯並部署至 Inf1,可以使用 Amazon SageMaker 或 AWS Neuron SDK。

AWS Neuron on Github 入門
• 在 AWS Neuron 開發人員論壇上取得支援
• 透過 Github 上 的 Amazon SageMaker 範例,了解如何使用 Amazon SageMaker 部署至 Inf1