Amazon Bedrock 知识库

为了向基础模型（FM）提供最新的专有信息，组织使用了检索增强生成（RAG），该技术可从公司数据来源获取数据，并丰富提示以提供更相关和更准确的响应。Amazon Bedrock 知识库是一项完全托管的功能，具有内置的会话上下文管理和来源归因功能，可帮助您实施从摄取到检索和提示增强的整个 RAG 工作流程，而无需构建与数据来源的自定义集成和管理数据流。您还可以从单个文档中提问并汇总数据，而无需设置向量数据库。如果您的数据包含结构化来源，则 Amazon Bedrock 知识库会为结构化查询语言提供内置的托管自然语言，用于生成查询命令来检索数据，而无需将其转移到另一个存储中。

如果您拥有非结构化数据来源，Amazon Bedrock 知识库会自动从 Amazon Simple Storage Service（Amazon S3）、Confluence（预览版）、Salesforce（预览版）、SharePoint（预览版）或 Web 爬网程序（预览版）等来源获取数据。此外，您还会获得程序化文档摄取功能，让客户能够摄取流数据或从不受支持的来源摄取数据。摄取内容后，Amazon Bedrock 知识库会将内容分成文本块，然后将文本转换为嵌入，并将其存储在向量数据库中。您可以从多个支持的向量存储中进行选择，包括 Amazon Aurora、Amazon Opensearch 无服务器、Amazon Neptune Analytics 分析数据库引擎、MongoDB、Pinecone 和 Redis Enterprise Cloud。您也可以选择连接到 Amazon Kendra 混合搜索索引进行托管检索

您还可以使用 Amazon Bedrock 知识库来连接到结构化数据存储，以生成可靠的响应。当您有源材料（例如事务详细信息）存储在数据仓库和数据湖中时，这会特别有用。Amazon Bedrock 知识库使用自然语言到 SQL 将查询转换为 SQL 命令，然后执行这些命令来检索数据，而无需将其从源数据来源中移出。

您可以将 Amazon Bedrock 知识库作为完全托管的 RAG 解决方案，这样您就可以灵活地进行自定义并提高检索准确性。对于包含图像和布局复杂的视觉效果丰富的文档（例如，包含表格、数字、图表和图解的文档）等多模态数据的非结构化数据来源，您可以配置 Bedrock 知识库来解析、分析和提取有意义的洞察。您可以选择 Bedrock Data Automation 或基础模型作为解析器。这样就可以无缝处理复杂的多模态数据，从而让您能够构建高度准确的生成式人工智能应用程序。

Amazon Bedrock 知识库提供了各种高级数据分块选项，包括语义、分层和固定大小的分块。为了实现完全控制，您可以将自己的分块代码编写为 Lambda 函数，甚至可以使用来自 LangChain 和 LlamaIndex 等框架的现成组件。如果您选择 Amazon Neptune Analytics 分析数据库引擎作为向量存储，则 Amazon Bedrock 知识库会自动创建嵌入和图表，以链接您数据来源中的相关内容。Bedrock 知识库利用与 GraphRAG 相关的这些内容来提高检索的准确性，从而为最终用户提供更全面、更相关以及更可解释的响应。

您可以使用 Retrieve API 从知识库中获取用户查询的相关结果，包括图像、图解、图表和表格等视觉元素，或从数据库中获取结构化数据（如适用）。RetrieveAndGenerate API 可帮助您直接使用检索到的结果来增强 FM 提示并返回响应。您还可以向 Amazon Bedrock 代理添加 Amazon Bedrock 知识库，以便为代理提供上下文信息。您也可以选择提供过滤器或使用 FM 生成隐式过滤器，以便将返回的结果限制为仅显示相关内容。Amazon Bedrock 知识库可提供重排器模型，以提高检索到的文档区块的相关性。

从 Amazon Bedrock 知识库检索到的所有信息均附有引文（其中还包括视觉效果），可提高透明度并最大限度地减少幻觉。