AWS Trainium 是 AWS 專為 100B 以上之參數模型深度學習訓練打造的第二代機器學習 (ML) 加速器。每個 Amazon Elastic Compute Cloud (EC2) Trn1 執行個體最多部署 16 個 AWS Trainium 加速器，為雲端深度學習 (DL) 訓練提供高效能、低成本的解決方案。儘管深度學習的使用正在加速，但許多開發團隊受到固定預算的限制，這限制了改進其模型和應用程式所需的訓練範圍和頻率。基於 Trainium 的 EC2 Trn1 執行個體能縮短訓練時間，同時比同類 Amazon EC2 執行個體節省高達 50% 的訓練成本，從而解決了此難題。Trainium 已經過最佳化，可訓練用於文字摘要、程式碼產生、問題答覆、影像和影片產生、建議及詐騙偵測等廣泛應用中的自然語言處理、電腦視覺和推薦模型。
優勢
專為高效能深度學習訓練而打造
每顆 Trainium 加速器內含兩個專為深度學習演算法打造的第二代 NeuronCore。為支援高效的資料和模型平行處理，每顆 Trainium 加速器都具有 32 GB 的高頻寬記憶體，提供高達 190 TFLOPS 的 FP16/BF16 運算能力，並採用 NeuronLink 執行個體內超高速非阻欄式互連技術。
針對最先進模型進行最佳化
Trainium 原生支援各種資料類型 (FP32、TF32、BF16、FP16、UINT8 和可設定 FP8)。Trainium 支援硬體加速的隨機捨入，與傳統捨入模式相比，可提供高效能和更高的準確度。Trainium 還為用 C++ 編寫的控制流和自訂運算子提供支援，以提供靈活、面向未來的基礎架構來滿足您的訓練需求。
原生支援機器學習架構和程式庫
支援 Trainium 的 AWS Neuron SDK 已與 PyTorch 和 TensorFlow 原生整合。這確保您可以繼續在這些常用架構中使用現有的工作流程，只需更改幾行程式碼即可開始使用 Trainium。對於分散式模型訓練，Neuron SDK 支援 Megatron-LM 和 PyTorch Fully Sharded Data Parallel (FSDP) 等程式庫。要快速開始使用採用 Trainium 的 EC2 Trn1 執行個體，請參閱 Neuron 文件中的熱門模型範例。
AWS Neuron SDK
AWS Neuron 是由編譯器、執行階段和分析工具組成的軟體開發套件，您可以使用這些工具在採用 AWS Trainium 的 Amazon EC2 Trn1 執行個體上執行高效能訓練。使用 Neuron 讓您能在常用架構 (例如 TensorFlow 和 PyTorch) 中使用現有的工作流程，並在 EC2 Trn1 執行個體上進行最佳訓練，只需更改最少的程式碼。AWS Neuron 已在 AWS Deep Learning AMI (DLAMI) 和 AWS Deep Learning Containers 中預先設定，因此您能輕鬆開始使用 Trn1 執行個體。
AWS Inferentia
AWS Inferentia 是 AWS 設計的機器學習推論加速器，可在雲端提供高效能和低成本的 ML 推論。與同類 Amazon EC2 執行個體相比，基於 AWS Inferentia 加速器的 Amazon EC2 Inf1 執行個體，其輸送量最多提高 2.3 倍，每次推論成本最多降低 70%。
