Amazon Bedrock 推出新的高级提示优化和迁移工具

今天，我们宣布推出 Amazon Bedrock Advanced Prompt Optimization，这是一款新工具，可用于优化 Amazon Bedrock 上任何模型的提示，同时将原始提示与最多 5 个模型的优化提示进行比较。通过新的提示优化，您可以迁移到新模型或提高当前模型的性能。您可以对提示进行测试，确保在已知使用案例中看不到这些提示的任何回归，还可以改进性能不佳的任务。

新的提示优化器采用您的提示模板、变量值的用户输入示例、基本事实答案以及用作指导的评估指标。您甚至可以将其用于多模态用户输入，支持 png、jpg 和 pdf 作为提示模板的输入，因此您可以优化文档和图像分析等任务的提示。

您还可以提供 AWS Lambda 函数、LLM-as-a-judge 评分规则或简短的自然语言描述来指导优化。提示优化器在指标驱动的反馈回路中工作，进而优化评估指标的提示和生成的模型响应，并输出包含评估分数、成本估算和延迟的原始和最终提示模板。

Bedrock Advanced Prompt Optimization 的实际应用
要开始新的提示优化，请在 Amazon Bedrock 控制台的 Advanced Prompt Optimization 页面上选择创建提示优化。

最多选择 5 个推理模型来优化您的提示。如果您要迁移到新模型或者只是想在当前模型上获得更好的性能，可以使用此功能。如果您要更改模型，则可以选择当前模型作为基准，最多可以选择 4 个其他模型。如果您不更改模型，则只需选择当前模型即可查看优化前后对比情况。

您应该使用 JSONL 格式准备提示模板，其中包含示例用户数据、基本事实答案以及评估指标或重写指导。对于 .jsonl 文件，每个 JSON 对象必须在一行中。

{
    "version": "bedrock-2026-05-14",           // required; Fixed value
    "templateId": "string",                    // required
    "promptTemplate": "string",                // required
    "steeringCriteria": ["string"],            // optional
    "customEvaluationMetricLabel": "string",   // required if customLLMJConfig or evaluationMetricLambdaArn is used
    "customLLMJConfig": {                      // optional
        "customLLMJPrompt": "string",          // required if customLLMJConfig present
        "customLLMJModelId": "string"          // required if customLLMJConfig present
    },
    "evaluationMetricLambdaArn": "string",     // optional
    "evaluationSamples": [                     // required
        {
            "inputVariables": [                // required
                {
                    "variableName1": "string",
                    "variableName2": "string"
                }
            ],
            "referenceResponse": "string"      // optional
            "inputVariablesMultimodal": [      // optional
                {
                "Arbitrary_Name": {            // required for your multimodal variable.
                    "type": "string",          // choose from "PDF" or "IMAGE".Acceptable filetypes for IMAGE = png, jpg, 
                    "s3Uri": "string"          // input the S3 path of the file
                }
            ]
        }
    ]
}

您可以直接上传文件，也可以从 Amazon Simple Storage Service（Amazon S3）导入提示模板，并设置 S3 输出位置，用于存储即时优化结果和评估数据。然后，选择创建优化。

Amazon Bedrock 会自动将您的提示模板和包含可选基本事实的示例数据发送到您的推理模型，使用您的评估指标评估响应，然后在反馈回路中重写提示，进而针对您的推理模型进行优化。您将看到基于您提供的指标和最终优化提示的评估结果。

正如您所指出的，您可以通过三种方式评估提示质量：使用您自己的 Python 评分逻辑的 Lambda 函数，使用自定义评分规则的 LLM-as-a-Judge，或者自然语言指导标准。您可以只为每个提示模板选择一种方式，但可以在一个作业中创建多个提示模板，因此如果他们愿意，他们可以为每个提示模板使用不同的方法。

• Lambda 函数 – 如果您有具体的指标（准确率、F1、执行准确率、结构化 JSON 匹配等），则可以部署包含您的自定义评分逻辑的 Lambda 函数，并配置提示模板的 evaluationMetricS3Uri 字段。在 Lambda 内部，核心是一个 compute_score 实现，以编程方式将模型输出与参考响应进行比较。
• LLM-as-a-Judge – 如果您的任务是开放式的（摘要、生成、推理解释），并且您想要一个基于评分规则的分数，则可以在提示模板的 customLLMJConfig 字段中配置 S3 配置文件，用结构化指令和评级标准定义命名指标。Bedrock 评判模型对每个提示/响应对进行评估，并通过推理返回分数。默认模型是 Claude Sonnet 4.6，您也可以从评判模型列表中选择自己的模型。
• 指导标准 – 如果您知道自己想要的质量（品牌调性、格式、安全限制），但不想撰写完整的评判提示，则可以通过提示模板的 steeringCriteria 数组在输入数据集中定义标准。您提供的不是带有评级标准的结构化指标，而是提供自由形式的自然语言标准，由 LLM 评判进行全面评估。如果您使用此选项，则默认的 LLM-as-a-judge 提示将评估响应并将您的指导标准纳入评判提示中。本案例的评判模型是 Anthropic Claude Sonnet 4.6。

要详细了解如何使用高级提示优化和迁移，请访问 Bedrock 中的高级提示优化指南和 Github 中的示例代码。

现已推出
Amazon Bedrock Advanced Prompt Optimization 现已在美国东部（弗吉尼亚州北部、俄亥俄州）、美国西部（俄勒冈州）、亚太地区（孟买、首尔、新加坡、悉尼、东京）、加拿大（中部）、欧洲地区（法兰克福、爱尔兰、伦敦、苏黎世）和南美洲（圣保罗）区域推出。根据优化期间使用的 Bedrock 模型推理令牌向您收费，每个令牌的费率与常规 Bedrock 推理相同。要了解更多信息，请访问 Amazon Bedrock 定价页面。

立即在 Amazon Bedrock 控制台或使用 CreateAdvancedPromptOptimizationJob API 尝试高级提示优化，然后将反馈发送至 AWS re:Post for Amazon Bedrock 或通过常用的 AWS Support 联系方式发送反馈。

— Channy