Amazon Bedrock 常见问题

Amazon Bedrock 的代理是完全托管式功能，可让开发人员更轻松地创建基于生成式人工智能的应用程序，这些应用程序可以完成各种应用场景的复杂任务，并根据专有知识来源提供最新答案。只需单击几下，Amazon Bedrock 的代理即可自动分解任务并创建编排计划，无需任何手动编码。该代理通过 API 安全地连接到公司数据，自动将数据转换为机器可读格式，并在请求中添加相关信息以生成最准确的响应。然后，代理可以自动调用 API 来满足用户的请求。例如，一家制造公司可能想要开发一种生成式人工智能应用程序，该应用程序可以自动跟踪库存水平、销售数据、供应链信息，并可以推荐最佳的再订购点和数量以最大限度地提高效率。作为完全托管式功能，Amazon Bedrock 的代理消除了管理系统集成和基础设施预置的无差别工作，使开发人员能够在整个组织中最大限度地使用生成式人工智能。

您可以使用 Amazon Bedrock 的代理将 FM 安全地连接到您公司的数据来源。利用知识库，您可以使用代理让 Amazon Bedrock 中的 FM 访问更多数据，从而帮助模型生成更相关、更符合特定情境且更准确的响应，而无需持续重新训练 FM。根据用户输入，代理可以识别相应的知识库，检索相关信息，并将信息添加到输入提示中，从而为模型提供更多上下文信息以生成补全。

Amazon Bedrock 的代理可以帮助您提高工作效率、改善客户服务体验或自动执行 DevOps 任务。

借助代理，开发人员无需编写自定义代码即可无缝支持监控、加密、用户权限和 API 调用管理。Amazon Bedrock 的代理可以自动对用户请求的任务进行及时的工程设计和编排。开发人员可以使用代理创建的提示模板作为基准，进一步完善它以增强用户体验。他们可以更新用户输入、编排计划和 FM 响应。通过访问提示模板，开发人员可以更好地控制代理编排。

使用完全托管的代理，您不必担心预置或管理基础设施，并且可以更快地将应用程序投入生产。

Amazon Bedrock 处理的任何客户内容都会被加密，并静态存储在您使用 Amazon Bedrock 所在的 AWS 区域中。

不。用户输入和模型输出不会与任何模型提供商共享。

Amazon Bedrock 提供多种支持安全和隐私要求的功能。Bedrock 符合服务和组织控制（SOC）、国际标准化组织（ISO）、健康保险流通与责任法案（HIPAA）等常见合规标准，客户可以在符合《通用数据保护条例》（GDPR）的情况下使用 Bedrock。Amazon Bedrock 包含在 SOC 1、2、3 报告的范围内，使客户能够深入了解我们的安全控制措施。我们通过对我们的 AWS 控制进行广泛的第三方审核来证明合规性。Amazon Bedrock 是符合 ISO 9001、ISO 27001、ISO 27017、ISO 27018、ISO 27701、ISO 22301 和 ISO 20000 标准的 AWS 服务之一。Amazon Bedrock 已获得 CSA 安全信任保障和风险（STAR）2 级认证，该认证验证 AWS 云产品的最佳实践使用情况和安全状况。在 Amazon Bedrock 中，您的内容不会用于改进基本模型，也不会与任何模型提供商共享。您可以使用 AWS PrivateLink 建立从 Amazon Virtual Private Cloud（VPC）到 Amazon Bedrock 的私有连接，而无需将数据暴露给互联网流量。

不会，AWS 和第三方模型提供商不会使用 Bedrock 的任何输入或输出来训练 Amazon Titan 或任何第三方模型。

Amazon Bedrock 支持运行时系统服务的软件开发工具包。iOS 和安卓软件开发工具包以及 Java、JS、Python、CLI、.Net、Ruby、PHP、Go 和 CPP 同时支持文本和语音输入。

所有 SDK 都支持流式传输。

有关最新定价信息，请参阅 Amazon Bedrock 定价页面。

根据您签订的 AWS Support 合同，Amazon Bedrock 可以获得开发人员支持计划、商业支持计划和企业支持计划的支持。

您可以使用 CloudWatch 指标来跟踪输入和输出令牌。

我们在 Amazon Bedrock 上推出了 Titan Text Express 和 Titan 模型的持续预训练；这将使您能够使用大量未标记数据继续对 Titan 基础模型进行预训练。这种类型的训练将使模型从通用领域语料库调整为更具体领域（例如医学、法律、金融等）的语料库，同时仍然保留 Titan 基础模型的大部分功能。 

通常，企业可能希望为特定领域的任务构建模型。基本模型可能没有根据该特定领域中使用的技术术语进行训练。因此，直接对基础模型进行微调将需要大量标记的训练记录和较长的训练时间才能得到准确的结果。为了减轻这种负担，客户可以为持续预训练作业提供大量未标记的数据。这项工作将使 Titan 基础模型适应新领域。然后，客户可以通过标记显著减少的训练记录和更短的训练持续时间将新的预训练自定义模型微调到下游任务。 

Bedrock 持续预训练和微调（FT）具有非常相似的要求。因此，我们选择创建同时支持持续预训练（CPT）和 FT 的统一 API。API 的统一缩短了学习曲线，并有助于客户使用标准功能（例如 CloudWatch Event Bridge）来跟踪长时间运行的作业、用于获取训练数据的 S3 集成、资源标签和模型加密。 

持续预训练可以帮助您轻松地根据特定领域的数据调整 Titan 模型，同时保留 Titan 模型的基本功能。要创建持续预训练作业，请导航到 Bedrock 控制台并单击“自定义模型”。您将导航到包含两个选项卡的自定义模型页面：模型和训练作业。这两个选项卡都在右侧提供了一个名为“自定义模型”的下拉列表。从“自定义模型”下拉列表中选择“持续预训练”，导航到“创建持续预训练作业”屏幕。您需要提供源模型、名称、模型加密、输入数据、超参数和输出数据。此外，您还可以提供标签以及有关作业的 IAM 角色和资源策略的详细信息。

Amazon Bedrock 独有的 Amazon Titan 系列模型融合了 Amazon 25 年来，在其业务范围内积累的人工智能和机器学习创新的经验。Amazon Titan 基础模型（FM）通过完全托管的 API 为客户提供广泛的高性能图像、多模式和文本模型选择。Amazon Titan 模型由 AWS 创建并在大型数据集上进行预训练，使其成为强大的通用模型，旨在支持各种用例，同时还支持负责任地使用 AI。您可以按原样使用，也可以根据自己的数据私下进行自定义。

要了解有关开发和训练 Amazon Titan FM 所处理的数据的更多信息，请访问 Amazon Titan 模型训练和隐私页面。

支持的数据格式包括.pdf、.txt、.md、.html、.doc 和.docx、.csv、.xls 和.xlsx 文件。必须将文件上传到 Amazon S3。只需指向您的数据在 Amazon S3 中的位置，Amazon Bedrock 知识库就会处理向量数据库的整个摄取工作流程。

Amazon Bedrock 知识库提供三种在将文本转换为嵌入之前对文本进行分块的选项。 

1.  默认选项：Amazon Bedrock 知识库会自动将您的文档拆分成多个块，每个区块包含 200 个令牌，确保句子不会在中间断开。如果文档包含少于 200 个令牌，则不会对其进行进一步拆分。两个连续的区块之间保持 20% 的令牌重叠。

2.  固定大小分块：在此选项中，您可以指定每个区块的最大令牌数以及区块之间的重叠百分比，以便 Amazon Bedrock 知识库自动将您的文档拆分为多个块，从而确保句子不会在中间断开。 

3.  为每个文档创建一个嵌入选项：Amazon Bedrock 会为每个文档创建一个嵌入。如果您已通过将文档拆分为单独的文件来对文档进行预处理，并且不希望 Bedrock 进一步对文档进行分块，则此选项非常适用。
 

目前，Amazon Bedrock 知识库使用 Amazon Bedrock 中提供的最新版本的 Titan Text Embeddings 模型。Titan Text Embeddings 模型支持 8K 令牌和 25 种以上语言，并创建 1536 维大小的嵌入。 

Amazon Bedrock 知识库负责整个摄取工作流程，即将您的文档转换为嵌入（向量），然后将嵌入存储在专门的向量数据库中。Amazon Bedrock 知识库支持常见的向量存储数据库，包括 Amazon OpenSearch 无服务器、Pinecone、Redis Enterprise Cloud、Amazon Aurora（即将推出）和 MongoDB（即将推出）的向量引擎。如果您当前没有向量数据库，Amazon Bedrock 会为您创建一个 Amazon OpenSearch 无服务器向量存储区。

根据您的使用案例，您可以使用 Amazon EventBridge 在 Amazon S3 与 Amazon Bedrock 知识库之间创建定期或事件驱动的同步。

借助 Amazon Bedrock 上的模型评估，您只需点击几下即可为您的应用场景评估、比较和选择最佳基础模型。Amazon Bedrock 提供了自动评估和人工评估选项。您可以使用带有预定义指标（例如准确性、稳定性和毒性）的自动评估。您可以使用人工评估工作流程来评估主观或自定义指标，例如友好度、风格和与品牌声音的一致性。对于人工评估，您可以利用内部员工或 AWS 管理的团队作为评审者。模型评估提供内置的精选数据集，或者您可以自带数据集。

您可以使用自动评估来评估各种预定义指标，例如准确性、稳健性和毒性。您还可以使用人工评估工作流程来衡量主观或自定义指标，例如友好度、相关性、风格以及与品牌声音的一致性。

自动评估使您能够根据标准标准（例如准确性、毒性和稳健性）快速缩小可用 FM 的列表范围。人工评估通常用于评估需要人类判断，并且可能无法自动评估的更细致或主观的标准（例如品牌声音、创意意图、友好度）。

您可以利用精选的内置数据集或引入您自己的提示数据集，快速评估 Bedrock 模型的准确性、稳健性和毒性等指标。将提示数据集发送到 Amazon Bedrock 模型进行推理后，将使用每个维度的评估算法对模型响应进行评分。后端引擎将个人即时响应分数汇总为汇总分数，并通过易于理解的可视化报告呈现。

Amazon Bedrock 让您只需点击几下即可设置人工审核工作流程，并可以通过内部员工或利用 AWS 管理的专家团队来评估模型。通过 Amazon Bedrock 的直观界面，人们可以通过点击“向上/向下”按钮、按 1-5 的等级评分、选择多个响应中的最佳选项或排名提示来查看模型响应并提供反馈。例如，可以向团队成员展示两个模型如何响应相同的提示，然后要求他们选择显示更准确、相关或风格化输出的模型。只需自定义团队评估 UI 上显示的说明和按钮，即可指定对您而言重要的评估标准。您还可以提供带有示例的详细说明以及模型评估的总体目标，以便他们可以相应地调整他们的工作。此方法可用于评估需要人类判断或更细致的主题专业知识且无法通过自动评估轻松判断的主观标准。

Amazon Bedrock 防护机制使您能够根据使用案例和负责任的 AI 策略为生成式人工智能应用程序实施保护措施。防护机制通过过滤不良和有害内容来帮助控制用户和基础模型（FM）之间的交互，并将快速编辑个人身份信息（PII），从而增强生成式人工智能应用程序中的内容安全和隐私。您可以针对特定用例创建多个具有不同配置的防护机制。此外，您还可以持续监控和分析可能违反防护机制中客户定义策略的用户输入和调频响应。

防护机制允许客户定义一组策略来帮助保护您的生成式人工智能应用程序。您可以在防护机制中配置以下策略。

• 拒绝的主题 — 您可以定义一组应用程序上下文中不需要的主题。例如，可以将网上银行助理设计为不提供投资建议。
• 内容过滤器 — 您可以配置阈值来过滤仇恨、侮辱、性和暴力类别的有害内容。
• 字词过滤器（即将推出）— 您可以定义一组字词来阻止用户输入和 FM 生成的响应。
• PII 编辑（即将推出）— 您可以选择一组可以在 FM 生成的响应中进行编辑的 PII。根据使用案例，您还可以阻止包含 PII 的用户输入。

防护机制可与 Amazon Bedrock 上提供的所有大型语言模型一起使用，包括 Titan、Anthropic Claude、Meta Llama 2、AI21 Jurassic 和 Cohere Command FM。它还可以与微调的 FM 以及 Amazon Bedrock 代理一起使用。

AWS 为因以下正式发布的 Amazon 生成式人工智能服务的生成式输出而产生的版权索赔提供无上限的知识产权（IP）赔偿：Amazon Titan 模型、Amazon CodeWhisperer 专业版以及服务条款第 50.10 条中列出的其他服务（“享受赔偿的生成式人工智能服务”）。这意味着客户可以免受指控享受赔偿的生成式人工智能服务为响应客户提供的输入或其他数据而生成的输出侵犯版权的第三方索赔影响。客户仍然必须负责任地使用服务，例如不输入侵权数据或禁用服务的筛选功能。

此外，我们针对使用服务的标准知识产权赔偿可保护客户免受指控服务和用于训练他们的数据侵犯知识产权（包括版权索赔）而提出的第三方索赔影响。