Amazon EC2 Trn1 執行個體

全球超過 10,000 個組織，包括 Comcast、Condé Nast 和超過 50% 的財富 500 強企業都依賴 Databricks 來統一其資料、分析和 AI。

「成千上萬的客戶已在 AWS 上實作 Databricks，讓他們能夠使用 MosaicML 預先訓練、微調和為各種使用案例提供基礎模型。AWS Trainium 為我們提供訓練 Mosaic MPT 模型所需的規模和高效能，而且成本低廉。在我們培訓下一代 Mosaic MPT 模型時，Trainium2 將使得更快地構建模型，使我們能夠為客戶提供前所未有的規模和效能，以便他們可以更快地將自己的生成人工智能應用程序帶到市場。「

Databricks 生成式 AI 副總裁 Naveen Rao

Stockmark 以「重塑價值創造機制和推進人類發展」為使命，透過提供尖端的自然語言處理技術，幫助眾多公司建立和打造創新業務。

「憑藉由 AWS Trainium 晶片提供支援的 16 個節點的 Amazon EC2 Trn1 執行個體，我們開發並發布 stockmark-13b，這是一款具有 13 億參數的大型語言模型，並在日本 220B 代幣庫上從頭開始進行預先訓練。該庫包括截至 2023 年 9 月的最新商業域文字。相較於其他同等模型，該模型在 JGLUE (日語通用語言理解評估) 基準上獲得最高的 JSQUAD 分 (0.813)。可在 Hugging Face Hub 獲得該模型，並且可在 MIT 授權下做為商業用途使用。與同等 GPU 執行個體相比，Trn1 執行個體幫助我們降低 20% 的訓練成本。「

Stockmark Co., Ltd. 技術長 Kosuke Arima

RICOH 提供工作場所解決方案和數位轉型服務，旨在管理和最佳化跨企業的資訊流。

「移轉到 Trn1 實例非常簡單。我們能夠在短短 8 天內完成 130 億個參數模型的訓練。基於這一成功，我們期待在 Trainium 上開發和培訓 70B 參數模型，並對這些實例能夠更快、更具成本效益的培訓模型的潛力感到興奮。「

RICOH 數位技術開發中心總監 Yoshiaki Umetsu

「在 Helixon，我們為基於蛋白質的治療方案打造下一代人工智能解決方案。我們的目標是開發人工智慧工具，讓科學家能破譯蛋白質功能和相互作用，查詢大規模基因組資料集以進行標靶辨識，並設計抗體和細胞療法等療法。如今，我們使用訓練分佈式程式庫 (如 FSDP) 在許多基於 GPU 的伺服器上對模型進行平行訓練，但是訓練單個模型還是需要數週時間。我們很高興能利用 Amazon EC2 Trn1 執行個體，該執行個體具有 AWS 可用最高的網路頻寬 (800 Gbps)，以提高分散式訓練工作的效能並縮短模型訓練時間，同時降低訓練成本。「

Helixon 執行長 Jian Peng

Money Forward, Inc. 為企業和個人提供開放和公平的金融平台。

「我們在 Amazon EC2 Inf1 執行個體上推出了大規模的 AI 聊天機器人服務，並且比較於類似 GPU 型執行個體的推論延遲降低 97%，同時降低成本。由於我們會定期微調量身定製的 NLP 模型，因此減少模型訓練時間和成本也很重要。根據我們在 Inf1 執行個體上成功遷移推論工作負載的經驗，以及我們在 AWS Trainium 為基礎的 EC2 Trn1 執行個體的初始工作上所做的經驗，我們預期 Trn1 執行個體將在改善端對端機器學習效能和成本方面提供額外價值。「

Money Forward, Inc. 技術長 Takuya Nakade

Magic 是綜合性產品和研究公司，正致力於開發就像同事一樣的人工智慧，好讓世界變得更有生產力。 

「培訓基於自動回歸變器的大型模型是我們工作的重要組成部分。採用 AWS Trainium 的 Trn1 執行個體專為這些工作負載而設計，可提供近乎無限的可擴展性、快速的節點間聯網，以及對 16 位元和 8 位元資料類型的進階支援。Trn1 執行個體將幫助我們以更低成本，更快地訓練大型模型。我們對 Trainium 中對 BF16 隨機四捨五入的原生支持特別興奮，提高性能，而數值準確度與完全精度無法區分。「

Magic 聯合創辦人暨執行長 Eric Steinberger

CACTUS 為研究人員和組織提供了一套產品和解決方案，能改善研究獲得資金、發表、交流和發現的方式。 

「在 Cactus Labs，我們利用 AI 的力量，研究專注於自然語言處理，排名和推薦，對話式 AI，大型語言模型，計算機視覺，AR/VR 和 XAI。我們希望能更快地訓練機器學習模型，並讓我們的研究人員能在管理基礎設施成本的同時進行更多實驗，因此我們很高興對 AWS Trainium 進行評估。AWS Trainium 的開箱即用功能，例如 XLA 最佳化、多工作者資料平行培訓和圖形快取對我們來說非常有用，可以縮短訓練時間並幫助我們更快、更便宜地執行更多實驗。「

Cactus Communications 技術長暨新興產品主管 Nishchay Shah

Watashiha 提供創新的互動式 AI 聊天機器人服務 “OGIRI AI”，該服務融合了幽默感，在現場提供有趣的問題答案。 

「我們使用大型語言模型結合幽默，並在我們的 AI 服務上為客戶提供更相關和對話體驗。這需要我們經常預先訓練和微調這些模型。我們善用張量和資料平行處理，在 EC2 Trn1.32xlarge 執行個體上預先訓練以 GPT 為基礎的日文模型。相較於我們之前的 GPU 型基礎設施，訓練在 28 天內即可完成，且成本降低了 33%。隨著我們的模型的複雜性持續迅速增加，我們期待 Trn1n 執行個體具有 Trn1 的兩倍網路頻寬，以加快更大型模型的訓練速度。「

Watashiha, K.K. 技術長 Yohei Kobashi

「在 PyTorch，我們加速將機器學習從研究原型製作到為客戶準備的生產。我們與 AWS 團隊進行了廣泛合作，為採用 AWS Trainium 的全新 Amazon EC2 Trn1 執行個體提供原生 PyTorch 支援，而這些執行個體是專為訓練深度學習模型而打造。建立 PyTorch 模型的開發人員只需最少的程式碼更改即可開始在 Trn1 執行個體上進行訓練。此外，我們還與 OpenXLA 社區合作，啟用 PyTorch 分佈式程式庫，以便輕鬆地將模型從基於 GPU 的執行個體遷移到 Trn1 執行個體。Trn1 執行個體為 PyTorch 社區帶來的創新讓我們興奮不己，包括更高效的資料類型、動態形狀、自訂運算子、硬體優化的隨機捨入和即時偵錯模式。所有這些都使 Trn1 非常適合 PyTorch 開發人員廣泛採用，我們期待未來對 PyTorch 的共同貢獻，以進一步優化培訓性能。「

PyTorch 應用 AI 工程經理 Geeta Chauhan

「Hugging Face 的使命是將良好的 ML 民主化，以幫助世界各地的 ML 開發人員解決現實世界的問題。而關鍵在於確保最新和最出色的模型，在雲端的最佳 ML 晶片上盡可能快速高效地執行。我們對 Inferentia2 的潛力感到非常振奮，這將成為大規模部署生成式 AI 模型的新標準方式。憑藉 Inf1，我們發現比傳統 GPU 型執行個體最高可降低 70% 的成本，而且使用 Inf2，相較於 Inferentia1，我們看到類似 BERT 的轉換器延遲最高可減少 8 倍。借助 Inferentia2，我們的社區將能夠輕鬆地將此效能擴展到 100B+ 參數規模的 LLM，以及最新的擴散和計算機視覺模型。「

「我們正在培訓多模式（文字 + 圖像），多語言，多語言語言模型（多語言），對多項任務進行預先訓練，並涵蓋多個實體（產品，查詢，品牌，評論等），以改善客戶的購物體驗。與其他加速機器學習解決方案相比，Trn1 執行個體可提供最佳的效能功耗比，從而為訓練大型語言模型提供了更永續的方式，並以最低成本為我們提供了高效能。我們計劃探索新的可配置 FP8 資料類型，以及硬體加速隨機四捨五入，以進一步提高我們的訓練效率和開發速度。「

Amazon Search 副總裁 Trishul Chilimbi