助力生成式人工智能应用程序实现安全就绪的七步清单

 

生成式人工智能近年来经历了爆发式增长，其应用正在改变初创企业创建内容、分析数据及制定关键决策的方式。 各类组织正越来越多地利用生成式人工智能模型的强大功能来构建定制化应用程序。因此，对于那些尝试并应用生成式人工智能技术的初创企业而言，必须将安全性和负责任的使用置于首要地位。

在本文中，我们制定了一份包含七个要点的清单，概述了在将基于生成式人工智能的应用程序从实验阶段推进到生产环境时，应当考虑的关键安全与合规措施。

1.建立治理框架与合规流程

2.审阅并遵守大语言模型（LLM）提供商的最终用户许可协议（EULA）和数据使用政策

3.实施全面的访问控制

4.降低输入与输出风险

5.保护数据

6.加固边界安全

7.实施全面的监控与事件响应机制

实施这份清单将有助于您的初创企业降低风险、保护数据并维护用户信任。尽管落实更多清单项目能增强防御能力，但您无需完成所有检查点，具体取决于您的应用程序需求。

所需的各项安全控制措施会因您构建应用程序时所使用的模型类型（预训练模型、微调模型或定制模型）而异。我们将重点关注基于预训练模型构建的应用程序，因为这类应用涵盖了大多数客户的使用场景。

 

建立全面的治理与合规框架是部署负责任的人工智能的基础。人员与流程至关重要，因此首先应组建一个跨职能的人工智能治理委员会，成员包括来自法律、IT 安全及相关业务部门的领域专家。该委员会应针对您的生成式人工智能应用制定并执行具体政策，涵盖数据处理、模型选择及使用规范等方面。

接下来，根据您所在行业的法规要求（例如 GDPR 或 PCI DSS）制定合规性核查清单。清单内容应涵盖数据隐私措施、同意管理以及透明度要求。定期实施合规性审查（如季度审计），以确保始终符合不断发展的标准要求。如需获得进一步指导，请参阅以下博文：扩展针对云、新兴技术和创新的治理、风险与合规性计划以及保障生成式人工智能的安全：数据、合规性与隐私考量。

最后，建立一套文档管理系统，用于跟踪生成式人工智能应用程序的决策、变更及合规性状态。其中包含政策版本控制、模型变更审计日志以及合规状态控制面板等功能。该系统不仅有助于维持合规性，还能在外部审计期间提供必要的佐证。

 

了解具体的限制与要求至关重要，有助于保持合规性并避免潜在的法律问题。在将预训练模型集成到您的应用程序之前，请审核您所选择的 LLM 提供商的使用条款和数据使用政策。请特别关注有关数据处理、模型输出以及商业使用限制的条款。对于 Amazon Bedrock 用户，请参阅访问 Amazon Bedrock 基础模型。如果您在 Amazon SageMaker 上自行部署，请查看模型详情页面上的模型来源。

除了确保合规性之外，关注新更新还可以带来令人兴奋的新机遇。例如，Meta Llama 3.1 许可证被认为比其先前版本更加宽松，开辟了新的使用案例，例如分析长文档和构建用于全球用途的高级多语言聊天机器人。无论您选择哪种模型，定期审核这些方面都能确保您的应用程序能够把握新的机遇。

在开发和部署生成式人工智能应用程序时，您需要稳健的访问控制措施来保护系统和数据。这包括设置用户身份验证、授权和数据访问策略，同时遵循最低权限原则（PoLP）。PoLP 背后的理念是：用户和服务仅获得执行其任务所需的访问权限。遵循 PoLP 有助于团队降低潜在的安全风险，并增加攻击者入侵的难度。

首先，利用 Amazon Cognito 或 Amazon Verified Permissions 等服务实施用户身份验证，并设置授权控制以符合 PoLP 要求。以下是如何使用 Amazon Cognito 的 JWT 令牌执行身份传播和细粒度授权的示例：

为生成式人工智能应用程序的各个组件（包括大语言模型（LLM）、数据库、存储系统以及任何关联的服务或 API）设置访问控制。使用支持通过短期临时凭证（例如 Amazon Bedrock 或 Amazon SageMaker 提供的凭证）进行访问的模型，以确保访问安全并简化管理。Amazon Bedrock 还允许您精确控制哪些用户可以访问哪些模型，从而在必要时阻止访问。

接下来，通过实施相应的机制来隔离用户会话和对话上下文，防止用户访问其他用户的内容、会话历史记录或对话信息。为用户使用唯一的会话标识符，并在用户每次访问系统时对其进行验证。实施服务器端会话管理，可以将对话历史记录和上下文记录在针对每个用户隔离的数据存储中。

对于检索增强生成（RAG）的实施，管理用于增强 LLM 响应的知识库的访问权限至关重要。您可以结合使用 Amazon Bedrock 知识库和元数据筛选功能来简化这一过程。元数据筛选提供内置的访问控制，确保用户只能检索其有权访问的信息。如果您自行管理 RAG，可以使用 Amazon Kendra 根据用户权限筛选响应。有关元数据筛选工作原理的说明，请参阅上图（步骤 5）。

 

实施访问控制后，您可以着手建立评估机制，以评估并降低生成式人工智能应用程序中与用户输入及模型输出相关的风险。这有助于防范提示注入攻击、生成不当内容或产生“幻觉”等安全隐患。

您可以利用 Amazon Bedrock Guardrails 来简化这一过程。Guardrails 允许您针对提示词输入和模型输出配置防护措施；这些防护措施可应用于 Amazon Bedrock 上的各种 LLM，包括微调模型，甚至 Amazon Bedrock 之外的生成式人工智能应用程序。

作为额外的预防措施，您可以使用 Amazon Bedrock 提示管理器 建立经过验证的提示目录（即针对常见任务预先批准的提示集合），从而有效管理提示并保护 LLM 免受恶意指令的侵害。

输出验证同样重要。应谨慎对待 LLM 响应：如果模型生成了代码或数据库查询语句（这些内容随后会被传递给其他组件），您应当将其输出视为来自不可信用户的输入。在允许其与其他系统交互之前，务必检查权限并执行安全检查。针对数据库操作，应采用参数化查询等安全方法。在使用生成的 SQL 语句之前，请务必审查其结构。您还可以通过在系统提示词中使用提示模板来控制模型响应的格式，从而降低风险。

如果 LLM 会生成系统命令或代码，采取强有力的安全措施至关重要。首先应实施严格的验证检查。这包括使用允许列表、检查语法以及理解代码的意图。对于 JavaScript 或 Markdown 等语言，在向用户展示输出内容之前，务必进行编码处理，以防范潜在的安全漏洞。如果人工智能生成的代码需要运行，请务必在沙盒（一种隔离环境）中执行，以确保在出现问题时主系统依然安全。

 

接下来，务必通过加密来保护您的模型使用和响应的数据（例如用户查询、附加上下文以及 RAG 系统中使用的知识库）。

利用 AWS Key Management Service（用于安全管理、存储和轮换加密密钥）以及 AWS Identity and Access Management（IAM）（用于访问控制）等服务，可以轻松实现这一点。您还可以为知识库存储启用版本控制功能（例如 S3 版本控制），以便跟踪变更并确保数据的可靠性与安全性。

如果您处理的是敏感数据，还可以利用 Bedrock Guardrail 的敏感信息筛选条件来实施数据掩码或拦截。

 

现在您的数据已得到保护，接下来您可以专注于保护生成式人工智能基础设施。 在使用专有数据时，请务必建立安全边界，以防数据暴露在公共互联网上。 Amazon Bedrock VPC 端点可在您的虚拟私有云（VPC）与 Amazon Bedrock 账户之间建立私有连接，从而增强数据与模型交互的安全性。

LLM 会消耗大量计算资源，因此容易成为滥用攻击的目标。为防止此类情况，您可以限制用户对应用程序的访问程度。您可以使用 AWS Web 应用程序防火墙（WAF）来设置这些限制，并利用 Amazon API Gateway 来控制针对应用程序的请求速率。这些措施能保护您的基础设施，同时确保系统保持良好的性能并稳定运行。

 

确保系统配置与数据的安全之后，接下来应着手建立系统监控机制。这包括实施相应的响应机制，以便快速检测并处理安全问题。监控 LLM 的使用指标（如请求量、延迟和错误率），以掌握系统性能并识别异常情况。 Amazon CloudWatch 可以在这些指标超出预设阈值时触发警报。

此外，您还应制定事件响应计划，以应对提示注入、模型输出异常或数据泄露等场景。针对每种场景规划升级处理流程，明确关键工具、团队成员及其各自的职责。最后，建立类似 Andon cord 的机制，以便在出现问题时能迅速关闭模型、回滚至旧版本或切换到安全模式。落实这些针对安全问题的明确措施，将有助于您更快速地做出响应，确保人工智能应用的安全与稳定。

这份包含七个步骤的清单是指导您将生成式人工智能应用程序从原型阶段推进到生产环境的关键指南。逐一落实清单中的各项内容，将有助于您负责任地构建和部署应用，从而保护您的组织及用户。请记住，生成式人工智能技术正飞速发展；因此，务必紧跟人工智能安全领域的最新动态，以使您的应用程序（及初创企业）始终处于创新与信任的前沿。欢迎访问 AWS 社区 – 生成式人工智能，获取我们的最新资讯！

本文介绍了针对使用预训练模型的应用程序的安全控制措施。如果您计划使用微调模型或自定义模型，请参阅 生成式人工智能安全范围矩阵，以了解针对不同模型类型所需关注的风险及相应的缓解措施。此外，您还可以查阅生成式人工智能安全实践方法，或联系您的客户团队以获取更多支持。