Meta Llama 3.1 及 Mistral Large 2 模型在 AWS 正式可用，為打造生成式 AI 應用提供更多選擇

【台北訊，2024 年 7 月 25 日】Amazon Web Services（AWS）宣布，Meta 剛剛發布的新一代 Llama 模型在 Amazon Bedrock 和 Amazon SageMaker 中提供。客戶也可以在基於 AWS Trainium 和 AWS Inferentia 自研晶片的 Amazon Elastic Cloud Compute（Amazon EC2）執行個體中部署這些模型。Llama 3.1 模型是一系列預訓練和指令微調的大型語言模型（LLMs），支持 8B、70B 和 405B 三種尺寸，適用於廣泛的使用場景。開發人員、研究人員和企業可以用此模型進行文本摘要和分類、情感分析、語言翻譯和程式碼生成。 同時，Mistral AI 的 Mistral Large 2（24.07）基礎模型（FM）也已在 Amazon Bedrock 中正式可用。Mistral Large 2 是 Mistral Large 的最新版本，根據 Mistral AI 表示，Mistral Large 2 在多語言能力、數學、推論、程式碼編寫等方面均有較優異的表現。

Meta 表示，Llama 3.1 405B 是目前最優秀和最大的開源基礎模型（foundation models, FMs）之一，為生成式 AI 能力樹立新標準。它特別適用於合成資料生成和模型蒸餾，這能在後續訓練中提升較小尺寸 Llama 模型的效能。Llama 3.1 405B 還在通用知識、數學、工具使用和多語言翻譯方面有出色的表現。

得益於大幅增加的訓練資料和規模，與之前的版本相比，所有新的 Llama 3.1 模型都較顯著優異。這些模型支援 128K 的上下文長度，相較於 Llama 3 增加了 12 萬個標記（Token），模型容量是上一版本的 16 倍，並提升了在多語言對話場景中的推論能力，包括以下八種語言：英語、德語、法語、義大利語、葡萄牙語、印地語、西班牙語和泰語。

Llama 3.1 模型還增強對語言細微差別的理解能力，即能更好地理解上下文，並能更有效地處理複雜問題。該模型還可以從長篇文本中獲取更多資訊，以做出更明智的決策，並利用更豐富的上下文資料生成更加細緻和精練的回應。

AWS 執行長 Matt Garman 表示：「我們與 Meta 保持著長期合作關係，今天很高興能將他們最先進的模型提供給我們的客戶。客戶希望根據他們的具體應用案例自訂和優化 Llama 模型，透過 AWS 使用 Llama 3.1，客戶可以利用最新的領先模型來負責任地建構 AI 應用。」

過去十年間，Meta 一直致力於為開發人員提供工具，並促進開發人員、研究人員和企業之間的合作共贏。Llama 模型提供各種參數尺寸，允許開發人員選擇最適合其需求和推論預算的模型。AWS 上的 Llama 模型打開了充滿無限可能的新世界，開發人員毋須再擔心擴展性或基礎設施管理等問題。AWS 提供了一種簡單的開箱即用的方式來使用 Llama。

Meta 創始人暨執行長馬克祖克柏表示：「開源是讓 AI 造福所有人的關鍵。我們一直在與 AWS 合作，將整個 Llama 3.1 模型整合到 Amazon SageMaker JumpStart 和 Amazon Bedrock 中，這樣開發人員就可以全面使用 AWS 的各種能力來建構出色的應用，例如用於處理複雜任務的高級智慧體。」

Llama 3.1 405B

• 適用於建構企業應用程式和研發
• 應用案例包括：長篇文本生成、多語言和機器翻譯、編寫程式碼工具使用、增強的上下文理解，以及高級推論和決策

Llama 3.1 70B

• 適用於內容生成、對話 AI、語言理解和研發
• 應用案例包括：文本摘要、文本分類、情感分析和細微推論、語言建模、程式碼生成和遵循指令

Llama 3.1 8B

• 適用於運算能力和資源有限的情況以及行動裝置
• 更快的訓練時間
• 應用案例包括：文本摘要和分類、情感分析和語言翻譯

Amazon Bedrock 為數萬名客戶提供安全、便捷的模型，提供效能卓越、完全託管的大型語言模型和其他基礎模型選擇，是客戶開始使用 Llama 3.1 的便捷途徑，其中 8B 和 70B 參數模型已經正式可用，405B 版本目前提供預覽。

只要透過 Amazon Bedrock 的 API，客戶就能使用 Llama 3.1模型，同時利用 AWS 的所有安全性和功能，且無需管理任何底層基礎設施。客戶還可以使用 Llama 3.1 提供的負責任 AI 能力，該功能能夠與 Amazon Bedrock 的資料治理和評估功能配合使用，例如 Guardrails 和模型評估。客戶還可以使用 Amazon Bedrock 即將推出的微調功能來自訂模型。

Amazon SageMaker 是資料科學家和機器學習工程師預訓練、評估和微調基礎模型的絕佳平台，能夠提供先進的技術和精細的控制能力來部署基礎模型，以滿足生成式 AI 應用案例在準確性、延遲和成本方面的嚴格要求。現在，透過 Amazon SageMaker JumpStart，客戶僅需幾次點擊即可發現和部署所有 Llama 3.1 模型。隨著即將推出的微調功能，資料科學家和機器學習工程師將能夠更進一步使用 Llama 3.1，例如在短短幾小時內將 Llama 3.1 調適用於他們的特定資料集。

AWS 執行長 Matt Garman 表示：「Amazon Bedrock 是使用 Llama 3.1 進行快速建構的簡單途徑，提供產業領先的隱私和資料治理評估功能和內建保護措施。Amazon SageMaker 提供的工具選擇和精細控制，則使各行各業的客戶能夠輕鬆訓練和調整 Llama 模型，在 AWS 上推動生成式 AI 創新。」

對於希望透過自行管理的機器學習工作流程的方式在 AWS 上部署 Llama 3.1 模型的客戶，Amazon EC2 提供廣泛的加速運算選項，提供更大的靈活性和對底層資源的控制。AWS Trainium 和 AWS Inferentia2 能夠為微調和部署 Llama 3.1 模型提供高效能和成本效益。客戶可以透過使用基於 AWS 自研 AI 晶片的 Amazon EC2 Trn1 和 Inf2 執行個體來開啟使用 Llama 3.1 的旅程。

• 全球金融服務集團野村控股（Nomura）的業務延伸至 30 個國家和地區。該集團正在使用 Amazon Bedrock 中的 Llama 模型簡化大量產業文檔的分析，以獲得相關的商業資訊，使員工可以將更多時間專注於從日誌檔、市場評論或原始文檔等資料來源中獲得洞見和關鍵資訊。
• 領先的外包數位服務和客戶體驗提供商 TaskUs 使用 Amazon Bedrock 中的 Llama 模型來支援其專屬生成式 AI 平台 — TaskGPT。TaskUs 在該平台上建構智慧工具，自動化部分客戶服務流程，讓團隊成員專注於處理更複雜的問題，並提供更好的客戶體驗。

Mistral Large 2 是一款先進的大型語言模型（LLM），擁有一流的推論、知識和程式碼編寫能力，並支援幾十種語言，包括英語、法語、德語、西班牙語、義大利語、中文、日語、韓語、葡萄牙語、荷蘭語、波蘭語、阿拉伯語和印地語等。Mistral AI 投入了大量努力來增強模型的推論能力。模型訓練的關鍵是讓模型盡量減少「幻覺」的產生，或生成看上去可信但實際上不正確或不相關的資訊。這是透過微調模型來實現的，使模型在回應中更加謹慎和明智，確保其提供可靠和準確的輸出。此外，新款 Mistral Large 2 經過訓練，會在找不到解決方案或沒有足夠的資訊來提供自信的答案時承認這一點。

Mistral AI 表示，該模型還精通程式碼編寫，並經過超過 80 種程式設計語言的訓練，如 Python、Java、C、C++、JavaScript、Bash、Swift 和 Fortran。它擁有一流的智慧代理能力，可以原生呼叫函數和輸出 JSON，進而實現與外部系統、API 和工具的無縫交流。此外，Mistral Large 2（24.07）擁有先進的推論和數學能力，使其成為解決複雜邏輯和計算難題的強大工具。

Mistral Large 2 還提供了 128K 標記（tokens）的上下文窗口。目前，該模型（mistral.mistral-large-2407-v1:0）已在 AWS 美國西部 2 區（us-west-2）正式可用。