Amazon EC2 Inf1 執行個體

雲端內的高效能和最低成本機器學習推論

Amazon EC2 Inf1 執行個體是從基礎開始建置,並支援機器學習推論應用程式。Inf1 執行個體內建最多 16 片 AWS Inferentia 晶片,這些高效能機器學習推論晶片是由 AWS 設計和建構。此外,我們在 Inferentia 晶片中結合了最新的自訂第 2 代 Intel® Xeon® Scalable 處理器,以及最高 100 Gbps 聯網, 帶來高輸送量推論。 此強大組態促進 Inf1 執行個體帶來高達 3 倍的更佳輸送量以及比 Amazon EC2 G4 執行個體低最多 40% 的每次推論成本,可說是目前市面上雲端的機器學習推論中的最低成本執行個體。顧客可以雲端最低成本,使用 Inf1 執行個體執行大型的機器學習推論應用程式,例如,影像辨識、語音辨識、自然語言處理、個人化作業和詐騙偵測。

SiteMerch-EC2-Instances_accelerated-trial_2up

免費試用:EC2 硬體加速執行個體最高可享價值 10,000 USD 的 AWS 積分,適用於 ML、HPC 和圖形應用程式。

按一下這裡立即申請 

各行各業的顧客紛紛選用機器學習,以因應常用應用程式的現況,例如:提供個人化購物推薦、透過線上內容審核增進財務和資料安全,以及利用 Chatbot,增進客戶參與度。客戶希望機器學習應用程式能帶來更佳效能,以便在能力範圍內提供最佳最終使用者體驗。

Amazon EC2 Inf1 執行個體帶來雲端內的高效能和最低成本機器學習推論。您可在其中一種最常見的機器學習框架,例如,TensorFlow、PyTorch 或 MXNet 內建立個人模型,再使用 GPU 執行個體,例如, P3 或 P3dn 訓練模型,開始您的機器學習工作流程。一旦已訓練好能迎合您要求的機器學習模型,就可使用 AWS Neuron 把它部署在 Inf1 執行個體上。AWS Neuron 是專業的軟體開發套件 (SDK),內含編譯器、執行時間和分析工具,能佳化 Inferentia 晶片的機器學習推論效能。Neuron 已預安裝至 AWS Deep Learning AMI,也可在無框架的情況下,裝至您的自訂環境中。此外,Neuron 將預安裝至 AWS Deep Learning ContainersAmazon SageMaker 中,是成功進行機器學習的最簡易方法。

優勢

每次推論降低最高 40% 的成本

Inf1 執行個體高輸送量,以及比 Amazon EC2 G4 執行個體低最多 40% 的每次推論成本,可說是目前市面上雲端的機器學習推論中的最低成本執行個體。若機器學習推論在執行機器學習工作負載時,呈現高達 90% 的整體作業成本,就能節省大筆的成本。

高達 3 倍的更佳輸送量

與 Amazon EC2 G4 執行個體相比, Inf1 執行個體為批次推論應用程式帶來 3 倍更佳輸送量。類似照片標記的批次推論應用程式,對推論輸送量,或每秒可處理多少推論的回應都很敏感。Inf1 執行個體的每個執行個體內含 1 至 16 片 AWS Inferentia 晶片,可擴展效能至最高每秒 2000 萬億次運算 (TOPS)。

極低延遲

Inf1 執行個體為即時應用程式帶來極低延遲。 類似語音辨識的即時推論應用程式,需要快速作出推論,以回應使用者的輸入,且能敏感偵測推論延遲度。Inf1 執行個體使用的 AWS Inferentia 晶片擁有更高晶片記憶體,讓機器學習模型在晶片上直接進行快取。此舉杜絕推論時存取外部記憶體資源的需要,因而在不影響頻寬的情況下,就能促進低延遲度。

易用性

Inf1 執行個體容易使用,只需改變少許程式碼,甚至在不需要更改的情況下,就能使用最常用的機器學習框架,例如,TensorFlow、 PyTorch 和 MXNet,支援經訓練的模型。

彈性迎合不同機器學習模型的需求

Inf1 執行個體使用 AWS Neuron 後,可支援許多常用的機器學習模型,例如:單次偵測器 (SSD) 和 ResNet,以進行影像辨識/分類,以及 Transformer 和 BERT,進行自然語言處理和翻譯。

支援多種資料類別

Inf1 執行個體支援多種資料類別,包括:INT8、 BF16 和 FP16,並以混合的精準度,支援廣泛系列的模型和效能需求。

Amazon SageMaker (即將上市,可支援 Inf1 執行個體)

Amazon SageMaker 讓您只要按一下就能在 Amazon EC2 Inf1 執行個體中輕鬆部署和建立訓練模型,以便您為即時或批次資料建立預測。Amazon SageMaker 是一項全受管服務,其中涵蓋整個機器學習工作流程:標記和準備資料、選擇演算法、訓練模型、針對開發加以調整及最佳化、進行預測,以及採取行動。以更輕鬆的方式和更低的成本,讓您的模型更快投入生產。您的模型將於橫跨多個可用區域的 Amazon SageMaker Inf1 執行個體的自動調整規模叢集上執行,以同時提供高效能及高可用性。

進一步了解 »

運作方式

如何使用 Inf1 和 AWS Inferentia

AWS Inferentia 晶片

AWS Inferentia 是 AWS 設計和建置的機器學習推論晶片,以低成本帶來高效能。每片 AWS Inferentia 晶片都有 4 個 Neuron 核心,並支援 FP16、 BF16 和 INT8 資料類別。AWS Inferentia 晶片內含大量晶片記憶體,用以快取大型模型,進而排除把記憶體儲存於晶片外的需要。此外,AWS Inferentia 晶片專用的 AWS Neuron SDK 可跨多片 Inferentia 晶片利用高速互聯,拆分大型模型,建立強大的推論處理管道。

進一步了解 >>

AWS Neuron SDK

AWS Inferentia 晶片專用的 AWS Neuron SDK 能佳化 Inferentia 晶片的機器學習推論效能。它內含 AWS Inferentia 晶片所需的編譯器、執行時間和分析工具,能促進開發人員在以 Inferentia 為基礎的 EC2 Inf1 執行個體上,執行高效能和低延遲度的推論工作負載。

進一步了解 >>

使用案例

建議

Machine Learning 能夠發掘個人化產品和內容推薦、提供量身打造的搜尋結果並鎖定目標受眾來推廣行銷,因此目前正廣泛應用於提升客戶參與度。

預測

從簡單的試算表,到複雜的財務規劃軟體,今天的公司設法精確預測未來的事業成果,例如:產品需求、資源需要或財務績效。這些工具檢視一系列名為時間系列資料的歷史記錄,以建立預測。公司越來越常使用機器學習,以結合時間系列資料和更多變數,以建立預測。

影像和影片分析

今天,我們用機器學習來辨識物件、人、文字、場景和活動,以及偵測影像或影片內的任何不妥內容。此外,影像和影片的臉部分析和臉部辨識,也可偵測、分析及比對臉部運用在使用者驗證、計算人數和公共安全等各種使用案例。

進階文字分析

機器學習特別擅長準確識別大量文字中的特定相關項目 (例如,在分析報告中尋找公司名稱),並可以學習語句中所隱含的情緒 (識別負面評論或客戶與客戶服務人員的良性互動),具備幾乎無限的擴展能力。

文件分析

機器學習能立即「讀取」幾乎任何類型的文件,以準確地擷取文字和資料,無須任何人力或自訂程式碼。您可快速自動化文件工作流程,以便在幾小時內處理數百萬個文件頁面。

語音

企業可使用機器學習,將文字轉換成逼真說話方式,讓您建立會說話的應用程式和打造全新的啟用語音產品類別。文字轉換語音 (TTS) 服務運用先進深度學習技術,合成語音聽起來就像真人發音一樣。

交談代理程式

AI 透過加入聊天機器人服務,在客服中心增進客戶體驗。聊天機器人指的是智慧型自然語言虛擬助理。這些聊天機器人能識別真人說話,而且來電者無須說出特定的片語,他們也能了解來電者的目的。來電者可執行密碼變更、查詢帳戶餘額或排程約會等任務,無須與客服人員對談。

翻譯

相較於舊有的統計與規則式翻譯演算法,公司可使用以機器學習為基礎的翻譯,提供更加精準而自然的翻譯。公司可將網站和應用程式等內容翻譯成各國使用者的語言,而且能輕鬆有效地翻譯大量的文字。

轉寫

機器學習轉寫用於多種常見的用途,包括轉寫客戶服務通話以及針對音訊和影片內容產生字幕。撰寫服務可為每個文字放置時間戳記,方便您透過搜尋文字的方式在原始來源找出音訊。

詐騙偵測

使用機器學習偵測詐騙偵測可能的詐騙活動,以及標示該活動以進行檢查。詐騙偵測具體用於金融服務業,利用根據金額、地點、商戶或時間的交易評分模型,將交易分類為合法或詐騙。

醫療保健

醫療保健的機器學習旨在讓醫生可以更快治療病患,不僅要降低成本,還要改善結果。醫院利用整合不同的資料組 (例如,病患回報的資料、感測器資料和許多其他資料來源) 至掃描流程,增進傳統的 X 光成像技術,例如:超音波和 CT 掃描,讓這些演算法能分辨正常與異常結果的差異。

定價