跳至主要內容

Amazon Bedrock

在成本、延遲和準確度方面進行最佳化

藉助各種工具，在每個階段評估及最佳化 AI，以便在控制成本的同時提升準確度與效能

效能不折不扣

Amazon Bedrock 可協助您在成本、延遲與準確度之間取得適當的平衡，因此，您的生成式 AI 應用程式可以在不超支的情況下高效地執行。Amazon Bedrock 具備模型蒸餾、智慧提示路由、提示快取，以及靈活的推論選項 (包括隨需、批次及佈建輸送量) 等功能，可賦予您控制權，能夠跨使用案例進行最佳化並安心無虞地進行擴展。無論是即時提供服務，還是批次處理工作負載，Amazon Bedrock 都可讓您建置更智慧、更簡潔且更具成本效益的 AI 系統。

Missing alt text value

改善效能。降低成本。

利用提示快取，將支援模型的費用降低高達 90%，延遲減少高達 85%

許多基礎模型 (FM) 使用案例會在 API 呼叫中重複使用某些部分提示 (字首)。透過提示快取，支援的模型將可讓您在請求之間快取這些重複的提示字首。此快取可讓模型跳過對應字首的重新計算。

  • 改善多種使用案例的效能
  • 快取提示的相關部分以節省輸入詞元成本
  • 整合其他 Amazon Bedrock 功能，以加速多步驟任務或更長的系統提示，進而在不減慢回應速度的情況下，協助精簡代理程式行為
進一步了解提示快取
Missing alt text value

加速生成式 AI 應用程式的提示工程

Amazon Bedrock 提示管理可簡化提示的建立、評估、版本控制和執行，讓開發人員能夠從其使用案例的 FM 中獲得最佳回應。

  • 使用提示管理，您可以測試不同的 FM、組態、工具及指示
  • 使用提示管理中的提示最佳化功能，可自動重寫提示，以改善準確度並提供更簡潔的 FM 回應
  • 立即使用最新的 FM 來測試提示，而無需任何部署
  • 快速建置生成式 AI 應用程式，並在 Amazon SageMaker Unified Studio 中協作建立提示
觀賞示範
Missing alt text value

藉助智慧提示路由，以更低成本實現效能最大化

Amazon Bedrock 智慧提示路由可將提示路由至模型系列內的不同 FM，從而協助您最佳化回應品質及費用。智慧提示路由可以在不影響準確度的情況下降低高達 30% 的成本。

  • Amazon Bedrock 會將請求動態地路由至其預測的模型，該模型最有可能以最低成本提供所需回應
  • 透過選擇 Amazon Bedrock 提供的預設提示路由器，或設定您自己的提示路由器，來減少開發工作，以及測試不同的模型及建立複雜的協同運作工作流程
  • 使用完全可追蹤的請求輕鬆偵錯
進一步了解提示路由
Missing alt text value

Amazon Bedrock 中的提煉模型比原始模型速度提升高達 500%，成本降低高達 75%，對於 RAG 等使用案例，準確度損失少於 2%

使用更小、更快、更具成本效益的模型，以提供使用案例特定的準確度，且其準確度能夠與 Amazon Bedrock 中最進階的模型相提並論。

藉助滿足您準確度要求的「教師」模型來微調「學生」模型。

  • 利用專有資料合成最大限度提升提煉模型的效能
  • 使用生產資料以降低成本透過模型蒸餾功能，您可提供提示，該功能隨後會利用這些提示生成合成回應並微調學生模型
  • 提升代理程式的函數呼叫預測準確度。讓較小的模型也能準確預測函數呼叫，從而大幅提升回應速度並降低營運成本
進一步了解模型蒸餾
Missing alt text value