利用 Amazon Bedrock 中提供的全新 Amazon Titan Text Premier 模型，构建基于 RAG 和代理的生成式人工智能应用程序



今天，我们很高兴迎来 Amazon Titan 系列模型的新成员：Amazon Titan Text Premier，现已在 Amazon Bedrock 中推出。

继 Amazon Titan Text Lite 和 Titan Text Express 之后，Titan Text Premier 是 Amazon Titan 系列模型中最新的大型语言模型 (LLM)，进一步增加了您在 Amazon Bedrock 中的模型选择。您现在可以选择 Bedrock 中的以下 Titan Text 模型：

• Titan Text Premier 是最先进的 Titan LLM，适用于基于文本的企业应用程序。它的最大上下文长度为 32K 令牌，专门针对企业使用案例进行了优化，例如使用 Amazon Bedrock 知识库和代理构建检索式增强生成 (RAG)和基于代理的应用程序。与所有 Titan LLM 一样，Titan Text Premier 已在多语言文本数据上进行了预训练，但最适合英语任务。您可以在 Amazon Bedrock 中使用自己的数据对 Titan Text Premier 进行进一步自定义微调（预览），以构建专属于您的领域、组织、品牌风格和用例的应用程序。在本文后面的内容中，我将深入介绍该模型的亮点和性能。
• Titan Text Express 非常适合各种任务，例如开放式文本生成和对话式聊天。该模型的最大上下文长度为 8K 令牌。
• Titan Text Lite 针对速度进行了优化，该模型高度可定制，可以针对文章总结和文案撰写等任务进行微调。该模型的最大上下文长度为 4K 令牌。

现在，我们来详细讨论一下 Titan Text Premier。

Amazon Titan Text Premier 模型亮点
Titan Text Premier 已针对高质量 RAG 和基于代理的应用程序进行了优化，并通过微调进行了定制，同时纳入了负责任的人工智能 (AI) 实践。

针对 RAG 和基于代理的应用程序进行了优化 – 根据客户反馈，Titan Text Premier 专门针对 RAG 和基于代理的应用程序进行了优化，受访者将 RAG 视为他们构建生成式人工智能应用程序的关键组件之一。模型训练数据包括总结、问答和对话式聊天等任务的示例，并针对与 Amazon Bedrock 知识库和代理的集成进行了优化。优化包括训练模型来处理这些功能的细微差别，例如其特定的提示格式。

• 通过与 Amazon Bedrock 知识库集成实现高质量的 RAG – 借助知识库，您可以将 Amazon Bedrock 中的基础模型 (FM)安全连接到贵公司的数据，以实现 RAG。现在，您可以选择带有知识库的 Titan Text Premier，对公司的专有数据执行问答和总结任务。
  
• 通过与 Amazon Bedrock 代理集成实现任务自动化 – 您还可以创建自定义代理，这些代理可以使用 Titan Text Premier 和 Amazon Bedrock 代理跨不同公司系统和数据来源执行多步骤任务。您可以使用代理为内部或外部客户自动执行任务，例如管理零售订单或处理保险索赔。
  

我们已经看到客户在探索使用 Titan Text Premier 来实现交互式人工智能助手，从电子邮件等非结构化数据中创建摘要。他们还在探索该模型，从公司系统和数据来源中提取相关信息，以创建更有意义的产品摘要。

这是我的同事 Brooke Jamieson 制作的演示视频，该视频展示了如何让 Titan Text Premier 为您的企业服务。

自定义微调 Amazon Titan Text Premier（预览版）– 您可以在 Amazon Bedrock 中使用自己的数据对 Titan Text Premier 进行微调，通过提供自己的任务特定标记训练数据集来提高模型的准确性。定制 Titan Text Premier 有助于进一步实现您的模型专业化，并创建反映贵公司品牌、风格、声音和服务的独特用户体验。

负责任地构建 – Amazon Titan Text Premier 采用安全、可靠和值得信赖的做法。Amazon Titan Text Premier 的 AWS AI 服务卡记录了该模型在关键负责任的人工智能基准中的性能，包括安全性和公平性以及准确性和可靠性。该模型还与 Amazon Bedrock 防护机制集成，让您可以根据自己的应用程序要求和负责任的人工智能策略实施额外的保护措施。对于负责任地使用 Amazon Titan 模型的客户，如有针对正式发布的 Amazon Titan 模型或其输出侵犯第三方版权的索赔，Amazon 将会赔偿。

Amazon Titan Text Premier 模型性能
Titan Text Premier 旨在为企业提供广泛的智能和实用程序。下表显示了评估关键能力的公共基准测试的评估结果，例如，指令遵循、阅读理解和针对价格可比模型的多步推理。在这些具有挑战性的各种基准测试中，Titan Text Premier 的强劲性能表明，它是专为处理企业应用程序中的各种用例而设计的，具有极高的性价比。对于下面列出的所有基准测试，分数越高分越好。

注意：基准测试使用少样本和零样本提示的变体来评估模型性能。通过少样本提示，您可以为模型提供多个具体示例（三表示 3 个样本，五表示 5 个样本，以此类推）来说明如何解决特定任务。这证明了模型从示例中学习的能力，即所谓的“情境学习”。另一方面，使用零样本提示时，您可以仅依靠模型预先存在的知识和一般语言理解来评估模型执行任务的能力，而无需提供任何示例。

开始使用 Amazon Titan Text Premier
要启用对 Amazon Titan Text Premier 的访问权限，请导航到 Amazon Bedrock 控制台，然后在左下角窗格上选择模型访问权限。在模型访问权限概述页面上，选择右上角的管理模型访问权限按钮，然后启用对 Amazon Titan Text Premier 的访问。

要在 Bedrock 控制台中使用 Amazon Titan Text Premier，请在左侧菜单窗格的操场下选择文本或聊天。然后选择选择模型，类别选择 Amazonc，模型选择 Titan Text Premier。要浏览模型，您可以加载示例。以下屏幕截图显示了其中一个示例，展示了该模型的思维链 (CoT) 和推理能力。

选择查看 API 请求，您可以获得一个代码示例，了解如何使用 AWS 命令行界面(AWS CLI)以及当前示例提示来调用模型。您还可以使用 AWS SDK 访问 Amazon Bedrock 和可用模型。在以下示例中，我将使用适用于 Python 的 Amazon SDK (Boto3)。

Amazon Titan Text Premier 的实际运用
在本演示中，我让 Amazon Titan Text Premier 总结我之前在 AWS 新闻博客上发表的一篇文章，该文章宣布 Amazon Titan Image Generator 和水印检测功能发布。

对于总结任务，推荐的提示模板如下所示：

The following is text from a {{Text Category}}:
{{Text}}
Summarize the {{Text Category}} in {{length of summary}}

有关更多的提示最佳实践，请查看 Amazon Titan 文本提示工程指南。

我根据我的示例调整了这个模板，并定义了提示。在准备过程中，我将我的新闻博客文章保存为文本文件，并将其读入 post 字符串变量。

prompt = """
The following is text from a AWS News Blog post:

<text>
%s
</text>

Summarize the above AWS News Blog post in a short paragraph.
""" % post

类似于以前的 Amazon Titan Text 模型，Amazon Titan Text Premier 支持 temperature 和 topP 推理参数以控制响应的随机性和多样化，并支持 maxTokenCount 和 stopSequences 以控制响应的长度。

import boto3
import json

bedrock_runtime = boto3.client(service_name="bedrock-runtime")

body = json.dumps({
    "inputText": prompt,
    "textGenerationConfig":{  
        "maxTokenCount":256,
        "stopSequences":[],
        "temperature":0,
        "topP":0.9
    }
})

然后，我使用 InvokeModel API 发送推理请求。

response = bedrock_runtime.invoke_model(
    body=body,
	modelId="amazon.titan-text-premier-v1:0",
    accept="application/json",
    contentType="application/json"
)

response_body = json.loads(response.get('body').read())
print(response_body.get('results')[0].get('outputText'))

响应如下：

Amazon Titan Image Generator 现在已在 Amazon Bedrock 中正式推出，使您能够轻松构建和扩展具有新图像生成和图像编辑功能（包括即时自定义图像）的生成式人工智能应用程序。Titan Image Generator 水印检测功能现已在 Amazon Bedrock 控制台中正式推出。今天，我们还在 Amazon Bedrock 中推出了新的 DetectGeneratedContent API（预览版），它可以检查该水印是否存在，并帮助您确认图像是否是 Titan Image Generator 生成的。

有关不同编程语言的更多示例，请查看 Amazon Bedrock 用户指南中的代码示例部分。

更多资源
以下是一些可能对您有用的其他资源：

预期用例等 – 查看 Amazon Titan Text Premier 的 AWS AI 服务卡，了解有关模型的预期用例、设计和部署以及性能优化最佳实践的更多信息。

AWS Generative AI CDK Constructs – Amazon Titan Text Premier 由 AWS Generative AI CDK Constructs 提供支持，这是 AWS Cloud Development Kit (AWS CDK)的开源扩展，可为常见的生成式人工智能模式提供 AWS CDK 的示例实现。

Amazon Titan 模型 – 如果您想了解有关 Amazon Titan 模型的更多信息，请观看以下视频。Amazon Bedrock 应用科学总监 Dr.Sherry Marcus 分享了 Amazon Titan 系列模型如何融合 Amazon 25 年来在其业务中通过人工智能和机器学习 (ML) 进行创新的经验。

现已推出
Amazon Titan Text Premier 现已在 AWS 美国东部（弗吉尼亚州北部）区域推出。Amazon Titan Text Premier 自定义微调（预览版）现已在 AWS 美国东部（弗吉尼亚州北部）区域推出。查看完整区域列表以了解将来的更新。要了解有关 Amazon Titan 系列模型的更多信息，请访问 Amazon Titan 产品页面。有关定价的详细信息，请参阅 Amazon Bedrock 定价页面。

立即在 Amazon Bedrock 控制台中试用 Amazon Titan Text Premier，向 AWS re:Post for Amazon Bedrock 发送反馈或通过您平时的 AWS 联系人发送反馈，并通过 community.aws 与生成式人工智能构建者社区互动。

– Antje