AWS Trainium

高效能機器學習訓練加速器,由 AWS 專門打造

AWS Trainium 是 AWS 專為深度學習訓練打造的第二代機器學習 (ML) 晶片。每個 Amazon Elastic Compute Cloud (EC2) Trn1 執行個體最多部署 16 個 AWS Trainium 加速器,為雲端深度學習訓練提供高效能、低成本的解決方案。儘管深度學習的使用正在加速,但許多開發團隊受到固定預算的限制,這限制了改進其模型和應用程式所需的訓練範圍和頻率。基於 Trainium 的 EC2 Trn1 執行個體能縮短訓練時間,同時與基於 GPU 的同類執行個體相比,最多可節省 50% 的訓練成本,從而解決了此難題。Trainium 已經過優化,可訓練用於語音辨識、推薦、詐騙偵測、影像辨識和預測等廣泛應用中的自然語言處理、電腦視覺和推薦模型。

優勢

專為高效能深度學習訓練而打造

每顆 Trainium 加速器內含兩個專為深度學習演算法打造的第二代 NeuronCore。為支援高效的資料和模型平行處理,每顆 Trainium 加速器都具有 32 GB 的高頻寬記憶體,提供高達 210 TFLOPS 的 FP16/BF16 運算能力,並採用 NeuronLink 這種執行個體內超高速非阻欄式互連技術。

針對最先進模型進行最佳化

Trainium 原生支援各種資料類型 (FP32、TF32、BF16、FP16、UINT8 和可設定 FP8)。Trainium 支持硬體加速的隨機捨入,與傳統捨入模式相比,可提供高效能和更高的準確度。Trainium 還為用 C++ 編寫的動態張量形狀、控制流和自訂運算子提供完整堆疊支援,以提供靈活、面向未來的基礎架構來滿足您的訓練需求。

原生支援機器學習架構和程式庫

支援 Trainium 的 AWS Neuron SDK 已與 PyTorch 和 TensorFlow 原生整合。這確保您可以繼續在這些常用架構中使用現有的工作流程,只需更改幾行程式碼即可開始使用 Trainium。對於分散式模型訓練,Neuron SDK 支援 Megatron-LM 和 PyTorch Fully Sharded Data Parallel (FSDP) 等程式庫。要快速開始使用採用 Trainium 的 EC2 Trn1 執行個體,請參閱 Neuron 文件中的熱門模型範例。

AWS Neuron SDK

AWS Neuron 是由編譯器、執行階段和分析工具組成的軟體開發套件,您可以使用這些工具在採用 AWS Trainium 的 Amazon EC2 Trn1 執行個體上執行高效能訓練。使用 Neuron 讓您能在常用架構 (例如 TensorFlow 和PyTorch) 中使用現有的工作流程,並在 EC2 Trn1 執行個體上進行最佳訓練,只需更改最少的程式碼。AWS Neuron 已在 AWS Deep Learning AMI (DLAMI) 和 AWS Deep Learning Containers 中預先設定,因此您能輕鬆開始使用 Trn1 執行個體。

進一步了解 »

AWS Inferentia

AWS Inferentia 是 AWS 設計的機器學習推論加速器,可在雲端提供高效能和低成本的 ML 推論。與最新一代 GPU 型 Amazon EC2 執行個體相比,基於 AWS Inferentia 加速器的 Amazon EC2 Inf1 執行個體,其輸送量最多提高 2.3 倍,每次推論成本最多降低 70%。

進一步了解 »

註冊免費帳戶

立即存取 AWS 免費方案。 

註冊 
開始在主控台進行建置

在 AWS 主控台開始使用。

登入