Llama 3.3 70B 現已透過 Amazon SageMaker JumpStart 在 AWS 上使用
AWS 客戶現在可透過 Amazon SageMaker JumpStart 從 Meta 存取 Llama 3.3 70B 模型。Llama 3.3 70B 模型在高效能與運算效率之間達到平衡。此模型的輸出品質媲美大型 Llama 版本,但所需的資源卻明顯減少,使其成為符合成本效益的 AI 部署之絕佳選擇。
Llama 3.3 70B 增強了注意力機制,可大幅降低推論成本。該模型接受大約 15 兆個 token (包括網路來源內容和合成範例) 的訓練,並進行廣泛的監督微調和從人類意見回饋強化學習 (RLHF)。這種方法在維持高效能標準的同時,讓輸出結果更加貼近人類的偏好。根據 Meta 的說法,這種效率的提升使得推論運作的成本效益提高了近五倍,使其成為有吸引力的生產部署選擇。
客戶可以透過 SageMaker JumpStart 使用者介面,或使用 SageMaker Python 開發套件以程式設計方式部署 Llama 3.3 70B。SageMaker AI 的先進推論功能有助於最佳化部署的效能和成本效益,讓您充分利用 Llama 3.3 70B 的固有效率,同時受益於簡化的部署流程。
Llama 3.3 70B 模型適用於所有提供 Amazon SageMaker AI 的 AWS 區域。若要進一步了解在 Amazon SageMaker JumpStart 上部署 Llama 3.3 70B,請參閱文件或閱讀部落格。