Amazon Bedrock Model Distillation

概览

借助 Amazon Bedrock Model Distillation，您可以使用更小、更快、更具成本效益的模型，这些模型可提供与 Amazon Bedrock 中最先进模型相媲美的特定于使用案例的准确性。与原始模型相比，Amazon Bedrock 中的蒸馏模型速度最多可提高 500%，成本最多可降低 75%，而在 RAG 等使用案例中，精度损失不到 2%。

使用更小、更经济高效的模型

借助 Model Distillation，客户可选择他们希望在使用案例中达到某种准确性的“教师”模型，然后选择想要微调的“学生”模型。客户还会为其使用案例提供提示。Model Distillation 可自动生成教师的响应，并利用这些响应对学生模型进行微调。这样，学生模型就能像教师模型一样，以更低的成本获得类似的准确性。

使用专有数据合成，大幅提高蒸馏模型的性能

针对特定使用案例微调较小且经济高效的模型以获得与较大模型相似的精度是一个迭代过程。为减轻迭代的负担以获得更好的结果，Model Distillation 可选择应用最适合您使用案例的不同数据综合方法。例如，Bedrock 可以通过生成相似的提示词来扩展训练数据集，或者使用客户提供的提示词-响应对作为黄金示例来生成高质量的合成响应。

通过轻松导入生产数据来降低成本

使用传统的微调功能时，客户需要创建提示和响应。使用模型蒸馏功能，客户只需提供提示，然后模型蒸馏会使用该提示生成合成响应并微调学生模型。客户可以将我们引导至他们的调用日志，并根据某些元数据字段筛选出日志。模型蒸馏可以通过调用日志读取提示和响应，并跳过模型蒸馏工作流中的合成响应生成，这样就不必再次从教师模型生成响应，因此可以降低成本。开始使用代码示例。