发布于: May 17, 2024
我们很高兴地宣布，Amazon Bedrock 知识库 (KB) 现在允许您配置推理参数，以便更好地控制基础模型 (FM) 生成的响应的个性化。
通过此次发布，您可以选择设置推理参数来定义基础模型生成的响应的随机性和长度等参数。您可以通过调整一些设置（例如温度和 top-p）来控制生成的文本的随机性或多样性。温度设置会使模型选择不寻常或意外词语的可能性增大或减小。较低的温度值会生成预期的、更常见的单词选择。top-p 设置限制了模型考虑的单词选项数量。减少这个数量会将考虑范围限制在较小的单词选择范围内，从而使输出结果更符合常规。
除了随机性和多样性外，您还可以通过 maxTokens 和 stopsequences 限制基础模型输出的长度。您可以使用 maxTokens 设置来指定要在生成的响应中返回的最小或最大令牌数。最后，stopsequences 设置允许您配置字符串，以控制模型停止生成更多标记。
知识库中的推理参数功能现已在亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（东京）、欧洲地区（法兰克福）、美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）区域推出。要了解更多信息，请参阅 Amazon Bedrock 知识库文档。要开始使用，请访问 Amazon Bedrock 控制台或使用 RetrieveAndGenerate API。