Amazon Bedrock 模型蒸餾功能現已正式上市

張貼日期: 2025年5月1日

模型蒸餾是一種知識轉移過程，將能力較強的模型 (教師) 的知識傳遞給能力較弱的模型 (學生)，目標是讓運作更快且成本更低的學生模型在特定應用場景中達到與教師模型相當的效能。隨著正式推出，我們現在增加了對以下新模型的支援：Amazon Nova Premier (教師) 和 Nova Pro (學生)、Claude 3.5 Sonnet v2 (教師)、Llama 3.3 70B (教師) 和 Llama 3.2 1B/3B (學生)。Amazon Bedrock 模型蒸餾功能現在可使較小型模型準確預測函式呼叫，適用於代理人使用案例，同時大幅提升回應速度並降低營運成本。Amazon Bedrock 中的提煉模型比原始模型速度提升高達 500%，成本降低 75%，對於 RAG 等使用案例，準確性損失少於 2%。除了 RAG 使用案例外，模型蒸餾還增加了對用於函數呼叫預測的代理人使用案例的資料增強支援。

Amazon Bedrock 模型蒸餾功能提供單一工作流程，可自動化產生教師模型回應的過程，並透過資料合成提升教師模型回應的品質，最後訓練學生模型。Amazon Bedrock 模型蒸餾功能可能會選擇套用最適合您使用案例的不同資料合成方法，以建立一個與特定使用案例的進階模型大致相符的經提煉模型。 

請參閱我們的文件、網站和部落格以進一步了解。