Amazon Bedrock

Amazon Bedrock 模型提煉

概觀

藉助 Amazon Bedrock 模型提煉功能，您可以使用更小、更快、更具成本效益的模型，以提供使用案例特定的準確性，且其準確性能夠與 Amazon Bedrock 中最進階的模型相提並論。Amazon Bedrock 中的提煉模型比原始模型速度提升高達 500%，成本降低高達 75%，對於 RAG 等使用案例，準確性損失少於 2%。

利用較小規模、更加經濟高效的模型

藉助模型提煉，客戶可以選取希望在其使用案例中達到其準確性的「老師」模型，然後選取其想要微調的「學生」模型。客戶還提供其使用案例的提示。模型提煉可自動化從老師模型產生回應並使用這些回應微調學生模型的程序。然後，學生模型就可以像老師模型一樣運作，以較低的成本取得相似的準確性。模型蒸餾支援來自不同模型提供者的各種模型，包括 Amazon Nova Premier (教師模型) 與 Nova Pro (學生模型)、Claude 3.5 Sonnet v2 (教師模型)、Llama 3.3 70B (教師模型)，以及 Llama 3.2 的 1B/3B (學生模型)。您可以透過隨選推論來呼叫特定的自訂模型，有助於減少對始終開啟的基礎架構的需求。請參閱此處的模型清單。

Screenshot of a user interface for selecting teacher and student models for distillation, featuring Llama 3.1 models. The teacher model Llama 3.1 405B is selected, and student model options include Llama 3.1 70B and Llama 3.1 8B.

利用專有資料合成最大限度提升提煉模型的效能

對較小規模、經濟高效的模型進行微調以針對特定使用案例實現與較大模型相似的精確性，這是一個反覆運作的程序。為消除取得更理想結果所需的一些反覆運作負擔，模型提煉可能會選擇套用最適合使用案例的不同資料合成方法。例如，Bedrock 可以透過產生類似的提示來擴展訓練資料集，或使用客戶提供的提示回應對來作為黃金範例，進而產生高品質的合成回應。

Screenshot of the AWS Synthetic Data Generation and Model Distillation user interface. The UI enables users to set the maximum response length, choose a distillation input dataset from an S3 location or invocation logs, and provides options to upload data or browse S3 buckets to generate synthetic responses for fine-tuning machine learning models.

輕鬆使用生產資料以降低成本

使用傳統微調，客戶需要建立提示和回應。使用模型提煉，客戶僅需提供提示，模型提煉即使用該提示來產生綜合回應並微調學生模型。客戶可將我們引導至其調用日誌，也可根據某些中繼資料欄位來篩選日誌。模型提煉可透過調用日誌，同時讀取提示和回應，並跳過模型提煉工作流程中的綜合回應產生，從而不必再次從教師模型產生回應來降低成本。開始使用程式碼範例。

Screenshot of the AWS Synthetic Data Generation interface showing options for model distillation, including setting response length, selecting distillation input dataset, configuring S3 log access, adding metadata, and managing access to input data such as prompts or prompt-response pairs.

提升代理程式的函數呼叫預測準確度

代理程式函數呼叫是現代人工智慧應用中的一項關鍵能力，它讓模型能夠與外部工具、資料庫和 API 互動，並能準確判斷何時以及如何調用特定的函數。雖然較大的模型通常在識別適當的函數呼叫以及構建正確參數方面表現較佳，但它們通常也伴隨著更高的成本和延遲。Amazon Bedrock 模型蒸餾功能有助於讓較小的模型也能準確預測函數呼叫，從而大幅提升回應速度並降低營運成本。