從《財星》500 強企業到新創公司，各行各業越來越多的組織採用機器學習 (ML) 來處理各種使用案例，包括自然語言處理 (NLP)、電腦視覺、語音助理、詐騙偵測和推薦引擎。此外，具有上千億參數的大型語言模型 (LLM) 正在釋放全新生成式 AI 使用案例，例如產生影像和文字。隨著 ML 應用程式的持續成長，運算、儲存和聯網資源的用量、管理與成本也隨之增加。識別和選擇正確的運算基礎設施，對於降低高耗電量、降低過高成本，以及避免 ML 模型訓練和部署到生產環境時的複雜性至關重要。為協助您加速 ML 創新的腳步，AWS 提供高效能、經濟實惠且節能的專用 ML 工具和加速器的理想組合，並針對 ML 應用程式進行最佳化。
優點
易於使用
使用 AWS Trainium 和 AWS Inferentia 等專門打造的 ML 加速器，以訓練和部署基礎模型 (FM)，並使用 AWS 受管服務 (例如 Amazon SageMaker 和 Amazon Bedrock) 將其整合至應用程式中。SageMaker 為資料科學家和 ML 開發人員提供預先訓練的基礎模型，可針對特定使用案例和資料完全自訂，並部署到生產環境中。Bedrock 為客戶提供透過 API 使用 FM 建置生成式 AI 應用程式的無伺服器體驗。
高效能
您可以使用 AWS 的最高效能 ML 基礎設施來支援 ML 應用程式。Amazon EC2 P4d 和 Amazon EC2 Trn1 執行個體是高效能 ML 訓練的理想選擇。推論方面，採用第二代 Inferentia2 的 Amazon EC2 Inf2 執行個體比採用 Inferentia 的上一代執行個體提供 4 倍的輸送量和低達 10 倍的延遲。
經濟實惠
有了廣泛的基礎設施服務可供選擇，您可依照預算選擇適合的基礎設施。採用 AWS Trainium 的 Amazon EC2 Trn1 執行個體可節省 50% 的訓練成本，而採用 AWS Inferentia2 的 Amazon EC2 Inf2 執行個體可提供比同類 Amazon EC2 執行個體高出 40% 的價格效能比。您可以重新投資這些節省下來的成本，以加速創新並發展業務。
永續發展
AWS 致力於在 2040 年前達成二氧化碳零排放的 Amazon 目標。Amazon SageMaker 是全受管 ML 服務，提供針對能源效率最佳化的 ML 加速器，在生產環境中訓練和部署 ML 模型時可降低耗電量。採用 ML 加速器 (例如 AWS Trainium 和 AWS Inferentia2) 的 Amazon EC2 執行個體，與其他同類 Amazon EC2 執行個體相比可提供高達 50% 的每瓦效能。
可擴展
AWS 客戶能取用近乎無限的運算、聯網和儲存以供擴展。您可以根據需要擴展或縮減使用規模，從一個 GPU 或 ML 加速器擴展到數千個，以及將儲存從 TB 級擴展到 PB 級。採用雲端形式，您無需為所有可能的基礎設施進行投資。但卻能夠享有彈性運算、儲存與聯網的優勢。
支援常見 ML 架構
AWS 運算執行個體能支援各大 ML 架構，例如 TensorFlow 和 PyTorch。此外，也支援模型庫與工具組，例如 Hugging Face，適用於廣泛的 ML 使用案例。AWS Deep Learning AMI (AWS DLAMI) 和 AWS Deep Learning Containers (AWS DLC) 已預先安裝 ML 架構與工具組的最佳化，以加速雲端的深度學習。
解決方案
*根據您的推論需求，您可以在 Amazon EC2 中探索其他執行個體，以進行採用 CPU 的推論。
成功案例
-
Pepperstone
-
Finch Computing
-
Amazon Robotics
-
Money Forward
-
Rad AI
-
Amazon Alexa
-
Autodesk
-
Sprinklr
-
Pepperstone
-
Pepperstone 使用 AWS ML 基礎設施，為每月超過 40,000 名不重複訪客提供順暢的全球交易體驗。Pepperstone 使用 Amazon SageMaker 將 ML 模型的建立和部署自動化。透過切換至 SageMaker，得以減少 DevOps 和資料科學團隊之間的摩擦，並將 ML 模型訓練時間從 180 小時縮短至 4.3 小時。
-
Finch Computing
-
Finch Computing 使用 AWS Inferentia 搭配 PyTorch on AWS 來建置 ML 模型，以執行 NLP 任務 (例如語言翻譯和實體歧義消除)，因此讓推論成本較採用 GPU 時減少逾 80%。
-
Amazon Robotics
-
Amazon Robotics 使用 Amazon SageMaker 開發了一個複雜的機器學習模型，用於取代 Amazon 配送中心的手動掃描。Amazon Robotics 使用 Amazon SageMaker 和 AWS Inferentia 將推論成本降低近 50%
-
Money Forward
-
Money Forward 在 Amazon EC2 Inf1 執行個體上推出大規模 AI 聊天機器人服務，相較於採用 GPU 的同類執行個體，推論延遲降低了 97%，同時還降低了成本。根據成功遷移至 Inf1 執行個體的經驗，也在對基於 AWS Trainium 的 EC2 Trn1 執行個體進行評估，以改善端對端 ML 效能和成本。
-
Rad AI
-
Rad AI 使用 AI 將放射科工作流程自動化，協助精簡放射科的報告程序。利用新的 Amazon EC2 P4d 執行個體，Rad AI 的推論速度加快，並能以快 2.4 倍的速度訓練模型，同時準確度更高。
-
Amazon Alexa
-
「由 Amazon Web Services 提供支援的 Amazon Alexa AI 和 ML 智慧目前已用於上億台裝置，我們對客戶的承諾是 Alexa 一直在變得更智慧、更對話式、更主動甚至更令人愉快。為實現承諾，需要繼續縮短回應時間以及降低機器學習基礎設施成本，這也是我們樂於使用 Amazon EC2 Inf1 在 Alexa 文字轉換語音方面降低推論延遲和每次推論成本的原因。有了 Amazon EC2 Inf1，我們可以讓數以千萬計每月使用 Alexa 的客戶獲得更好的服務。」
Tom Taylor，Amazon Alexa Senior Vice President
-
Autodesk
-
.9396df1d739f5a3b99ce8985231b0a48f7767c05.png "Autodesk 標誌")
「Autodesk 正在透過使用 Inferentia，推進我們採用 AI 技術虛擬助理 Autodesk Virtual Agent (AVA) 的認知技術。AVA 透過使用自然語言理解 (NLU) 和深度學習技術來擷取查詢背後的上下文、意圖和含義，每月回答超過 100,000 個客戶問題。與使用 G4dn 相比，試用 Inferentia 時我們的 NLU 模型能夠取得原先 4.9 倍的輸送量，我們期待在 Inferentia 型 Inf1 執行個體上執行更多的工作負載。」
Binghui Ouyang，Autodesk Senior Data Scientist
-
Sprinklr
-
「Sprinklr 提供一個統一的客戶體驗管理 (Unified-CXM) 平台，該平台結合了多個面向行銷、廣告、研究、客戶服務、銷售和社交媒體互動的應用程式。目標始終是降低延遲，這意味著更好的客戶體驗。藉助 Amazon EC2 Inf1 執行個體，我們能夠實現此目標。」
Jamal Mazhar，Sprinklr Vice President of Infrastructure and DevOps