AWS 在 Amazon Bedrock 上推出 100 多個新模型、全新強大的推論和數據處 理功能，賦能客戶加速採用生成式 AI

香港 — 2024 年 12 月 9 日 — Amazon Web Services（AWS）在 2024 re:Invent 全球大會上，宣布推出 Amazon Bedrock 的多項創新功能。Amazon Bedrock 是 AWS 一項全託管的服務，旨在利用高性能基礎模型構建和擴展生成式人工智能（GenAI）應用程式。是次發布進一步彰顯 AWS 對模型選擇的承諾，同時優化大規模推論的執行方式，協助客戶透過數據創造更多價值。Amazon Bedrock 的全新功能也將協助客戶避免因模型幻覺（hallucination）造成的事實錯誤、協調多個 AI 驅動的代理以執行複雜任務，以及打造更小、特定任務導向的模型，以更低的成本和延遲提供與大型模型相近的效能。

在新模型目錄中探索 Amazon Bedrock Marketplace 模型和 Amazon Bedrock 全託管的模型

• AWS 將成為首家提供 Luma AI 和 poolside 模型的雲端服務供應商。AWS 亦將在 Amazon Bedrock 加入 Stability AI 的最新模型，並透過全新的 Amazon Bedrock Marketplace 功能為客戶提供 100 多個熱門、新興及專業模型的存取權限，客戶可根據自身需要尋找最合適的模型組合。
• 全新的提示詞快取功能和 Amazon Bedrock Intelligent Prompt Routing功能協助客戶更輕鬆、更具成本效益地擴展推論工作。
• Amazon Bedrock Knowledge Bases 現已支援結構化數據及 GraphRAG，進一步拓展客戶利用自身數據提供客製化生成式 AI 體驗的途徑。
• AmazonBedrock Data Automation 功能能夠在無需編寫程式碼的情況下，自動將非結構化、多模態的數據轉換為結構化數據，以協助客戶將更多數據應用於生成式
  AI 及分析工作中。
• 數以萬計的客戶信賴 Amazon Bedrock 運行生成式 AI 應用程式，過去一年使用該服務的客戶數量增加 4.7 倍。Adobe、ArgoLabs、BMW 集團、Octus、Symbeo、Tenovos 和 Zendesk 等企業均已採用Amazon Bedrock 的最新技術。
• 自動推論檢查（Automated Reasoning checks）是首個也是唯一一個生成式 AI 安全防護機制，可協助防止因模型幻覺而產生的事實錯誤，開闢了對精確度要求極高的全新生成式 AI 應用案例。
• 客戶可以使用多代理合作輕鬆建構和協調多個 AI 代理以共同解決問題，進而擴展客戶在生成式 AI 的應用方式，應對最複雜的應用情況。
• 模型蒸餾技術使客戶能夠將特定知識從大型、高效能模型轉移到更小、更高效的模型，效率最高可提升 500%，成本最高可降低 75%。
• 目前已有數以萬計的客戶使用 Amazon Bedrock，Moody's、PwC 和 Robin AI 都正在運用這些新功能以具成本效益的方式擴展推論能力，並突破生成式AI創新的界限。

AWS 數據與人工智能副總裁 Swami Sivasubramanian 博士表示：「Amazon Bedrock 服務持續快速增長，憑藉其廣泛而領先的模型選擇、可輕鬆基於自身數據進行客製化的工具、內置的負責任 AI 功能以及開發複雜代理的能力，成為越來越多客戶的選擇。為了讓客戶充分釋放生成式 AI 的潛力，Amazon Bedrock 一直致力於解決開發人員目前面臨的最大挑戰。透過這次發布的一系列新功能，我們將協助客戶開發出更智能的 AI 應用程式，讓他們為最終用戶創造更大價值。」

匯聚領先 AI 企業的豐富模型選擇

Amazon Bedrock 為客戶提供豐富的全託管模型選擇，這些模型來自領先的 AI 企業，包括AI21 Labs、Anthropic、Cohere、Meta、Mistral AI 以及Stability AI 等。此外，Amazon Bedrock 是客戶使用新發布的 Amazon Nova 模型的唯一渠道。Amazon Nova 是新一代的基礎模型，以業界領先的性價比在多種任務上展現出頂尖智能。透過這次發布，AWS 在Amazon Bedrock 上新增更多領先業界的模型，進一步擴充 Amazon Bedrock 的模型選擇。

• Luma AI 的 Ray 2：Luma AI 的多模態模型和軟件產品透過生成式 AI 推動影片內容創作。AWS 將成為首家向用戶提供 Luma AI 最先進的 Luma Ray 2 模型（其著名影片模型第二代）的雲端服務供應商。Ray 2 標誌著生成式 AI 輔助影片創作的重大進展，它能夠根據文本和圖片高效具電影質感的高品質逼真影片。用戶能快速試驗不同的拍攝角度和風格，拍攝角色連貫、物理效果精準的影片，為建築、時尚、電影、平面設計以及音樂等領域提供創意輸出。
• poolside 的 malibu 和 point：poolside 致力解決大型企業現代軟件工程面臨的挑戰。AWS 將成為首家提供 poolside 的malibu 和 point 模型存取權限的雲端服務供應商，這兩個模型在程式生成、測試、文件製作以及即時程式碼補全方面表現出色。這有助提高工程團隊的生產力，更快地編寫出更優質的程式碼，並加速產品開發週期。這兩個模型還能在確保安全和私隱的前提下，根據客戶的程式碼庫、實踐操作以及文件進行微調，以配合特定專案的需要，協助客戶更精準且有效率地處理日常軟件工程的任務。此外，AWS 還將成為首家提供 poolside Assistant 存取權限的雲端服務供應商，該功能可以將 poolside 的 malibu 和 point 模型強大的功能融入開發人員首選的整合式開發環境（IDE）之中。
• Stability AI 的 Stable Diffusion 3.5 Large：Stability AI 是視覺媒體領域的領先生成式 AI 模型開發商，在圖片、影片、3D和音訊方面擁有先進的模型。Amazon Bedrock 將新增 Stability AI 最先進的文字生成圖片模型 — Stable Diffusion 3.5 Large。該模型能夠依據各種風格的文本描述生成高質素的圖片，協助媒體、遊戲、廣告以及零售領域的客戶加速創建概念藝術、視覺效果以及詳細的產品圖片。

透過Amazon Bedrock Marketplace 使用 100 多個熱門、新興和專業模型

儘管 Amazon Bedrock 中的模型能支援眾多任務，很多客戶仍希望將新興的專用模型融入到他們的應用程式中，以支援獨特的使用場景，如分析財務文件或生成新型蛋白質等。借助 Amazon Bedrock Marketplace，客戶現在能輕鬆地從 100 多個模型中搜尋和選擇，這些模型可部署在 AWS 上，並透過Amazon Bedrock 中的統一介面存取。這涵蓋了包括 Mistral AI 的Mistral NeMo Instruct 2407、Technology Innovation Institute 的 Falcon RW 1B 以及NVIDIA NIM 微服務等熱門模型，以及各種專業模型，包括用於金融業的 Writer Palmyra-Fin、用於翻譯的 Upstage Solar Pro、Camb.ai 的文本轉音訊 MARS6 以及用於生物學的 EvolutionaryScale ESM3 生成模型等。

當客戶找到他們所需的模型後，就能根據自身擴展的需求選擇合適的基礎設施，並透過全託管端點輕鬆地將其部署在 AWS 上。客戶隨後可將該模型安全地整合至 Amazon Bedrock 統一的應用程式介面（API），進而使用 Guardrails 和
Agents 等工具，並受益於內建的安全和私隱功能。

Zendesk 是一家全球服務軟件公司，服務全球 10 萬個品牌的多元文化客戶群。Zendesk 可在Amazon Bedrock 中使用用於翻譯的 Widn.AI 等專用模型，透過電子郵件、聊天、電話以及社交媒體對客戶服務請求進行個人化和在地化處理。這將為客服人員提供所需的資料，例如客戶透過母語表達的情緒或用意等，最終提升客服體驗。

提示詞快取和 Intelligent Prompt Routing 協助客戶大規模處理推論問題

在選擇模型時，開發人員需要權衡多種因素，如準確性、成本和延遲。優化其中任何一項因素，都可能意味著在其他因素上作出讓步。為了在應用程式部署到生產環境時平衡這些考量因素，客戶會採用多種技術，例如快取常用提示詞或將簡單問題分配給較小模型。然而，運用這些技術既複雜又耗時，需要專業知識來反覆測試不同的方法，以確保最終用戶獲得良好的體驗。正因如此，AWS 新增兩項功能，協助客戶更有效地大規模管理提示詞資訊。

• 通過快取提示詞功能降低回應延遲和成本：Amazon Bedrock現已支援安全地快取提示詞，進而減少重複處理，且不會影響準確性。對於支援的模型，此功能可將成本降低最高 90%，並將延遲縮短最多 85%。例如，律師事務所可以開發一個生成式 AI 聊天應用程式，用於回答律師有關文件的問題。當多名律師在提示詞中詢問關於文檔同一部分的問題時，Amazon Bedrock 能夠快取該部分內容，使其只需要處理一次，之後每當有人想要詢問相關問題時，便可重複使用，透過減少模型每次需要處理的訊息量來降低成本。Adobe 的 Acrobat AI 助理藉此實現快速的文檔摘要和問答功能，提高了用戶的工作效率。根據初步測試，借助 Amazon Bedrock 上的提示詞快取功能，Adobe 發現回應時間縮短了 72%。
• Intelligent Prompt Routing 功能有助於優化回應品質和成本：借助此功能，客戶能設定 Amazon Bedrock 自動把提示詞分配至同一模型系列裡的不同基礎模型，以優化回應品質和成本。運用先進的提示詞配對和模型理解技術，Intelligent Prompt Routing 能夠預測每個請求對應的每個模型的效能，並將請求動態分配至最可能以最低成本提供所需回應的模型。Intelligent Prompt Routing 可在不影響準確性的情況下，將成本降低多達 30%。Argo Labs 為餐廳提供創新的語音客服解決方案，透過Intelligent Prompt Routing 處理各類客戶諮詢和訂位業務。當客戶提出問題、下單以及訂位時，Argo Labs 的語音聊天機器人會動態地將查詢請求分配至最合適的模型，進而優化回應的成本和品質。例如「今晚這家餐廳有空位嗎？」這樣簡單的是非題，可以由較小的模型處理，而「這家餐廳提供哪些素食選項？」這類較複雜的問題則可由較大的模型來回答。借助 Intelligent Prompt Routing 功能，Argo Labs 能夠運用語音客服無縫處理客戶互動，同時達成準確性和成本之間的平衡。

Amazon Bedrock 知識庫的兩項新功能協助客戶充分發揮數據價值

無論自身數據儲存於何處、採用何種格式，客戶都希望善用它們為終端用戶構建由生成式 AI 驅動的獨特體驗。知識庫是一項全託管功能，客戶透過檢索增強生成（RAG），能夠輕鬆利用相關的文本及數據客製化基礎模型的回應。雖然知識庫已可以輕易連接至包括 Amazon OpenSearch Serverless 及 Amazon Aurora 等數據來源，但很多客戶仍然希望將其他來源和類型的數據融入其生成式 AI 應用程式中。因此，AWS 為知識庫新增了兩項功能。

• 支援結構化數據檢索功能以加速生成式 AI 應用程式開發：Knowledge Bases 提供了首批託管式、可立即使用的 RAG 解決方案，使客戶能夠直接查詢生成式 AI 應用程式中結構化數據的儲存位置。此功能有助於打破數據來源之間的數據孤島，將生成式 AI 開發週期從一個多月縮短至幾天。客戶能夠建構應用程式，讓應用程式運用自然語言查詢 Amazon SageMaker Lakehouse 和 Amazon S3 資料湖、Amazon Redshift 雲端資料倉儲等數據來源中的結構化數據。借助這項新功能，提示詞資訊會轉換為 SQL 查詢，用於檢索數據結果。Knowledge Bases 會根據客戶的架構和數據自動調整，從查詢模式中學習，並提供一系列客製化選項，進一步提高針對所選的應用情況的準確性。信用情報公司 Octus 將運用 Knowledge Bases 中全新的結構化數據檢索功能，讓最終用戶使用自然語言查詢結構化數據。透過將 Knowledge Bases 與 Octus 現有的主要數據管理系統相連，最終用戶的提示詞資訊能轉換為 SQL 查詢，讓 Amazon Bedrock 運用這些 SQL查詢檢索相關資訊，並作為應用程式回應的一部分回覆給用戶。這將協助 Octus 的聊天機器人向用戶提供精準的、由數據驅動的洞察，提升用戶與公司一系列數據產品之間的互動。
• 支援 GraphRAG 功能以生成更具相關性的回應：知識圖譜讓客戶透過將相關資訊映射成網狀結構，來針對數據間的關係進行建模和儲存。將這些知識圖譜融入 RAG 時會格外有用，系統可依據圖譜輕鬆審閱並檢索相關資訊片段。如今，由於支援 GraphRAG，Knowledge Bases 讓客戶無需具備圖形資料庫的專業知識，即可使用 Amazon Neptune 圖形資料庫服務自動生成知識圖譜，並跨數據連接實體之間的關係。Knowledge Bases能夠更便捷地生成更準確、更相關的回應，借助知識圖譜關連性，查看根源資訊以了解模型如何得出特定回應。BMW 集團將在旗下的 My AI Assistant（MAIA）使用 GraphRAG。MAIA 是一款AI驅動的虛擬助理，可幫助用戶尋找、了解並整合託管在 AWS上 的公司內部數據資產。借助由 Amazon Neptune 支援的 GraphRAG 自動化圖形建模功能，BMW 集團能夠依據資料使用情況，持續更新 MAIA 所需的知識圖譜，從數據資產中提供更相關且全面的分析，進而持續為數百萬車主傳遞優質體驗。

Amazon Bedrock Data Automation 將非結構化多模態數據轉換為結構化數據，用於生成式 AI 和數據分析

現今大多數企業的數據都是非結構化的，存在於文件、影片、圖片以及音訊等內容之中。許多客戶希望將數據用於策略分析，或為客戶創造新體驗，但將其轉換為便於分析或 RAG 所需的格式往往是艱難的人工過程。例如，銀行在處理貸款業務時，可能會接收多個 PDF 文件，銀行從每個文件中提取詳細資訊時，須統一姓名、出生日期等格式以確保一致性，然後將結果轉換為文本格式，再輸入資料倉儲進行分析。借助 Amazon Bedrock Data Automation，客戶只需使用單個 API，就能從非結構化內容中大規模自動提取、轉換並生成數據。

Amazon Bedrock Data Automation 能快速且高效地從文檔、圖像、音訊以及影片中擷取資訊，並將其轉換為結構化格式，適用於智能文件處理、影片分析以及 RAG 等用例。該功能可以為生成內容預設設定，例如影片每個場景的描述或音訊的轉錄內容，客戶也可以根據自身的資料架構定自訂輸出內容，並將其輕鬆載入到現有的資料庫或資料倉儲中。透過與 Knowledge Bases 整合，Amazon Bedrock Data Automation 還可以解析內容來支援 RAG 應用程式，透過整合嵌入在圖像和文本中的資訊，提升結果的準確性和相關性。同時，此功能提供信心分數，並基於原始內容生成回應，有助於降低生成幻覺的風險，並提高透明度。

Symbeo 是 CorVel 旗下的企業，提供自動化應付帳款解決方案。Symbeo 計劃利用Amazon Bedrock Data Automation，從複雜的文件（如保險索償表格、醫療帳單等）中自動擷取數據。這有助 Symbeo 的團隊更快速地處理索償事務，並縮短回覆客戶所需的時間。數碼資產管理平台 Tenovos 則使用Amazon Bedrock Data Automation 在大規模語義搜索中提升內容的重複使用率50%以上，節省了數百萬美元的行銷費用。

Amazon Bedrock Marketplace 現已正式啟用，同時 Amazon Bedrock Knowledge Bases 中的推論管理功能、結構化資料檢索、GraphRAG 以及 Amazon Bedrock Data Automation 現已提供預覽。此外，Luma AI、poolside 和 Stability AI 的模型也即將加入 Amazon Bedrock Marketplace。

AWS 強化 Amazon Bedrock，推出業界首創的 AI 防護、全新代理以及模型客製化功能

SwamiSivasubramanian表示：「Amazon Bedrock 已成為客戶將生成式 AI 變成應用程式和業務核心的必備工具。在過去一年中，Amazon Bedrock 的客戶群成長了 4.7 倍。隨著時間推移，生成式 AI 改變更多企業和客戶體驗，推論將成為每個應用程式的核心。隨著這些新功能的推出，我們正在代表客戶進行創新，以解決整個產業將生成式 AI 應用程式推進到生產時面臨的主要挑戰，例如模型幻覺和成本。」

透過 Amazon Bedrock Guardrails，Amazon Bedrock 能藉由自動推論檢查驗證事實回應的準確性、產生可稽核的輸出，並向客戶顯示模型得出結果的確切原因。這提高了透明度，並確保模型回應符合客戶的規範和政策。而在 Amazon Bedrock 中使用多代理合作，客戶可以為專案的特定步驟打造和分配專門的代理來獲得更準確的結果，並透過協調多個代理平行工作來加速任務。模型蒸餾技術則是在客戶提供範例提示詞後，由 Amazon Bedrock 完成所有回應生成並微調較小的模型。這為客戶提供了一個具有大型模型的相關知識和準確性，但兼具小型模型速度和成本的模型，使其成為生產應用的理想選擇。

如欲了解更多資訊，請瀏覽以下網站：

1. AWS 新聞博客：了解公告的更多細節，包括Amazon Bedrock Marketplace、提示詞緩存和 Intelligent Prompt Routing、資料處理和檢索功能、自動推論檢查、多代理合作、模型蒸餾。
2. Amazon Bedrock 頁面：深入了解 Amazon Bedrock 的功能和特性。
3. Amazon Bedrock 客戶頁面：了解其他公司如何使用 Amazon Bedrock。
4. AWS re:Invent 頁面：獲取關於 AWS re:Invent 活動的詳細資訊。

 

 

關於 Amazon Web Services

自2006 年來，Amazon Web Services 一直在提供世界上服務最豐富、應用廣泛的雲端服務。AWS 為客戶提供超過200 種功能全面的雲端服務，包括運算、儲存、數據庫、網絡、分析、機器學習與人工智能、物聯網、流動、安全、混合雲、虛擬和擴增實境(VR 和AR)、媒體，以及應用開發、部署和管理等方面，遍及31 個地理區域內的99 個可用區域(Availability Zones)，並已公佈計畫在加拿大、以色列、馬來西亞、紐西蘭和泰國建立5 個AWS 地理區域、15 個可用區域。AWS 的服務獲得全球超過百萬客戶的信任，包括發展迅速的初創公司、大型企業和政府機構。通過AWS 的服務，客戶能夠有效強化自身基礎設施，提高營運上的彈性與應變能力，同時降低成本。欲了解更多有關AWS 的資訊，請瀏覽： aws.amazon.com 。