对 Anthropic 在 Amazon Bedrock 中的 Claude 3 Haiku 模型进行微调的功能现已正式发布



今天，我们宣布在美国西部（俄勒冈州）AWS 区域正式发布对 Anthropic 在 Amazon Bedrock 中的 Claude 3 Haiku 模型进行微调的功能。Amazon Bedrock 是唯一支持微调 Claude 模型的完全托管服务。现在，您可以使用自己的任务特定训练数据集来微调和自定义 Claude 3 Haiku 模型，以提高模型的准确性、质量和一致性，从而进一步为您的业务量身定制生成式人工智能。

利用微调技术，可以通过更新权重和调整超参数（如学习速度和批次大小）为特定任务自定义预训练的大型语言模型（LLM），以获得出色结果。

Anthropic 的 Claude 3 Haiku 模型是 Claude 3 模型系列中速度最快、尺寸最小的模型。微调 Claude 3 Haiku 可为企业提供显著的优势：

• 自定义 — 通过对公司和领域知识进行编码，可以自定义在对业务至关重要的领域表现出色（与较通用的模型相比）的模型。
• 专业性能 — 可以生成更高质量的结果，并创建能够反映贵公司专有信息、品牌、产品等的独特用户体验。
• 任务特定优化 — 可以增强领域特定操作的性能，例如分类、与自定义 API 的交互或行业特定的数据解释。
• 数据安全 — 可以放心地在安全的 AWS 环境中进行微调。Amazon Bedrock 会制作基础模型的单独副本（该副本只能由您访问），并对模型的这一私有副本进行训练。

现在，您可以通过提供领域特定标签数据来微调 Amazon Bedrock 中的 Claude 3 Haiku 模型，从而优化特定业务使用案例的性能。

2024 年初，我们开始让客户与 AWS 生成式 AI 创新中心的专家团队展开合作，利用专家团队的专有数据来源帮助对 Anthropic 的 Claude 模型进行微调。我很高兴与大家分享一则消息：现在可以直接通过 Amazon Bedrock 控制台对 Anthropic 在 Amazon Bedrock 中的 Claude 3 Haiku 模型进行微调。

开始对 Anthropic 在 Amazon Bedrock 中的 Claude 3 Haiku 模型进行微调
我将演示如何轻松对 Amazon Bedrock 中的 Claude 3 Haiku 模型进行微调。要详细了解微调工作流，请查看 AWS 机器学习博客文章对 Anthropic 在 Amazon Bedrock 中的 Claude 3 Haiku 进行微调，以提高模型的准确性和质量。

要在 Amazon Bedrock 控制台中创建简单的微调作业，请转到导航窗格中的 Foundation models（基础模型）部分，然后选择 Custom models（自定义模型）。在 Models（模型）部分中，选择 Customize model（自定义模型）按钮，然后选择 Create Fine-tuning job（创建微调作业）。

接下来，选择要使用自己的数据进行自定义的模型，为生成的模型命名，并（可选）在 Model details（模型详细信息）部分添加加密密钥和任何标签以与模型关联。在 Job configuration（作业配置）部分中输入作业的名称，并（可选）为该作业添加任何标签。

您可以在 Input data（输入数据）部分中选择训练数据集文件的 Amazon S3 位置，如果适用，还可以选择验证数据集文件的 Amazon S3 位置。

每个数据集均可使用 JSON Lines（JSONL）文件创建，该文件有多行 JSON 使用单轮或多轮消息格式。每行 JSON 都是一个包含 system 和消息以及 message 对象数组的示例。

我准备了一些关于 Anthropic 在 Amazon Bedrock 中的 Claude 3.5 Sonnet 模型的最新信息。要了解更多信息，请访问 Amazon Bedrock 文档中的准备数据集。

{"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "What’s the latest models to support Amazon Bedrock"},{"role": "assistant", "content": "Amazon Bedrock is a fully managed service that support Anthropic’s Claude 3 Sonnet, Haiku, and Opus models and the latest Claud 3.5 Sonnet model."}]}
{"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "How long context window of Claude 3.5?"},{"role": "assistant", "content": "Anthropic's Claude 3 models have a 200,000 token context window enabling you to relay a large volume of information to Claude.This translates to roughly 150,000 words, or over 500 pages of material."}]}
{"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "Is Claude 3.5 available in Bedrock?"},{"role": "assistant", "content": "Anthropic’s most intelligent and advanced model, Claude 3.5 Sonnet, demonstrates exceptional capabilities across a diverse range of tasks and evaluations while also outperforming Claude 3 Opus."}]}

在 Hyperparameters（超参数）部分中，输入用于训练的超参数的值，例如周期、批次大小和学习速度乘数。如果您包含了验证数据集，则可以启用 Early stopping（提前停止）技术，该技术用于防止过度拟合，并在验证损失停止改善时停止训练过程。您可以设置提前停止阈值和耐心值。

还可以在 Output data（输出数据）部分中选择 Amazon Bedrock 应将作业输出内容保存到的输出位置。在 Service access（服务访问权限）部分中选择具有相应权限的 AWS Identity and Access Management（IAM）自定义服务角色。要了解更多信息，请参阅 Amazon Bedrock 文档中的创建用于模型自定义的服务角色。

最后，选择 Create Fine-tuning job（创建微调作业），等待微调作业开始。

您可以在 Custom models（自定义模型）部分的 Jobs（作业）选项卡中跟踪其进度或停止该作业。

模型自定义作业完成后，可以通过查看您在提交作业时指定的 Amazon Simple Storage Service (Amazon S3) 输出文件夹中的文件来分析训练过程的结果，也可以查看有关模型的详细信息。

使用自定义模型之前，您需要购买 Amazon Bedrock 的预置吞吐量，然后使用生成的预置模型进行推理。购买预置吞吐量时，您可以选择承诺期限，选择多个模型单位，并查看估计的每小时、每日和每月成本。要了解有关 Claude 3 Haiku 模型的自定义模型定价的更多信息，请访问 Amazon Bedrock 定价。

现在，您可以在控制台平台上测试自定义模型。我选择我的自定义模型，然后询问 Amazon Bedrock 中是否存在 Anthropic 的 Claude 3.5 Sonnet 模型。

我收到回答：

是。您可以在 Amazon Bedrock 中使用 Anthropic 最智能、最先进的模型，即 Claude 3.5 Sonnet。该模型比 Claude 3 Opus 更出色，让您在执行各项任务和评估时展现出卓越的能力。

您可以使用 AWS API、AWS SDK 或 AWS 命令行界面（AWS CLI）完成这项作业。要了解有关使用 AWS CLI 的更多信息，请访问 AWS 文档中的用于模型自定义的代码示例。

如果您使用的是 Jupyter Notebook，请访问 GitHub 存储库并按照自定义模型的实际操作指南进行操作。要构建生产级操作，建议您阅读 AWS 机器学习博客上的使用 Terraform 为具有预置吞吐量的 Amazon Bedrock 简化自定义模型创建和部署。

数据集和参数
微调 Claude 3 Haiku 时，应该做的第一件事是查看您的数据集。训练 Haiku 涉及两个数据集，即训练数据集和验证数据集。为了使训练取得成功，必须遵循一些特定的参数，如下表所示。

准备数据集时，从一个小型的高质量数据集开始，然后根据调整结果进行迭代。可以考虑使用 Anthropic 的较大模型（如 Claude 3 Opus 或 Claude 3.5 Sonnet）来帮助完善和改进训练数据。还可以使用它们生成训练数据来微调 Claude 3 Haiku 模型，如果较大模型已证明在执行您的目标任务时表现良好，这将非常有效。

有关选择正确超参数和准备数据集的更多指导，请阅读 AWS 机器学习博客文章对 Anthropic 在 Amazon Bedrock 中的 Claude 3 Haiku 进行微调的最佳实践和经验教训。

演示视频
观看这段深入探讨演示视频，了解帮助您开始对 Anthropic 在 Amazon Bedrock 中的 Claude 3 Haiku 模型进行微调的分步演练。

现已发布
对 Anthropic 在 Amazon Bedrock 中的 Claude 3 Haiku 模型进行微调的功能现已在美国西部（俄勒冈州）AWS 区域正式发布；查看完整区域列表以了解未来的更新。要了解更多信息，请访问 Amazon Bedrock 文档中的自定义模型。

立即在 Amazon Bedrock 控制台中试着微调 Claude 3 Haiku 模型，并将反馈发送至 AWS re:Post for Amazon Bedrock 或通过您常用的 AWS Support 联系人发送。

我很期待看到您将这项新技术应用于业务时会得到什么样的成果。

— Channy

*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您了解行业前沿技术和发展海外业务选择推介该服务。