AWS Trainium 客戶

效能和規模不僅僅是技術要求，它們對實現任務同樣至關重要。因此，我們與 AWS 合作，由其作為我們的主要雲端供應商來建置 Project Rainier，全球最強大的可運作人工智慧超級電腦之一。我們目前有一百萬個 Trainium2 晶片正在訓練 Claude 並為其提供服務，我們對 Trainium3 感到興奮，並希望能夠繼續擴展 Claude，使其遠遠超越我們透過 Project Rainier 建置的內容，突破人工智慧的可能邊界。

James Bradbury，Anthropic 計算主管。

我們與 AWS 的合作關係為我們同時提供了兩者。藉助 Trainium，我們的客戶能夠以不同於其他 AI 加速器的價格效能比擴展 Poolside 的使用範圍。此外，Trainium 即將推出的原生 Pytorch 和 vLLM 支援將為 Trainium 使用者帶來更多創新和靈活性，包括 Poolside。最重要的是，AWS 具有卓著的客戶關注力，能夠快速反覆並利用我們的意見回饋來調整 Trainium，使其符合我們的需求。我們期待在 Trainium 的所有層面加深我們的合作。

Joe Rowell 創始工程師

Trainium 獨特的架構，包括有效率的記憶體層次機構和高輸送量 AI 引擎，已被證明是 Decart 即時影片模型的理想選擇，推動了硬體的充分利用率。與頂級 GPU 相比，早期測試顯示了高達 4 倍的影格輸送量和兩倍的成本效率，延遲從 40 毫秒降低至 10 毫秒。這種效能可支援大規模的即時、動態和互動式影片產生，而這一點在之前的標準硬體上是不可能實現的。透過 Bedrock，AWS 客戶很快將可以直接存取這些功能。

Dean Leitersdorf，聯合創始人兼執行長
 

透過採用 AWS Trainium，我們將 LLM 訓練成本降低 50% 以上，同時維持一致的基礎結構可用性。這使我們能夠建立日本最準確的日語模型，同時保持遠低於預算需求。基礎結構穩定性也帶來了意想不到的生產力提高，使我們的團隊能夠專注於創新而不是疑難排解。

Tomofumi Nakayama，CPO

2025 年，AI 社群達到了轉折點，超過 1000 萬人工智慧建置者在 Hugging Face 上使用和分享數百萬個開放模型和資料集。現在，降低運行更大且更多樣化的開放模型之成本以確保 AI 為所有人和所有行業帶來效益，顯得比以往任何時候都更重要。在 Hugging Face，自第一個 Inferentia1 執行個體推出以來，我們一直與 AWS 的工程團隊攜手合作，建置專門打造的 AI 晶片。因此，今天，我們對 Trainium3 感到異常興奮，這是新一代 AWS AI 晶片，它將為 MoE 大型語言模型到代理程式和影片產生模型等最嚴苛的 AI 應用程式提供支援。透過 Optimum Neuron，我們致力於為數百萬 Transformer、Accelerate、Diffuser 和 TRL 的使用者帶來 Trainium 3 的高記憶體和成本效率，讓他們可以在控制成本的同時建置自己的 AI。

PyTorch 的願景很簡單：相同的程式碼應該在任何硬體平台上的任何位置執行。AWS 的原生 Trainium 支援為需要快速試驗和自由反覆的研究人員提供了這種硬體選擇。隨著 AWS Trainium3 的推出，PyTorch 開發人員能夠以更高效能、更低延遲和更好的詞元經濟性來研究、建置和部署他們的想法，同時維持熟悉的 PyTorch 工作流程並繼續留在他們已知的生態系統中。