安全护栏是什么？

把生成式 AI 从内部实验推向面向用户的生产环境，一个核心问题浮现：如何降低模型输出有害内容、泄露敏感信息或出现事实错误的风险。仅依赖模型自身的安全对齐通常不足以应对生产环境风险——模型可能被精心构造的提示词绕过，也可能在检索增强场景中产生看似合理但实际不成立的回答。

安全护栏是一种部署在模型前后的可配置安全策略层，对用户输入和模型输出进行实时检测、过滤与验证。它独立于基础模型本身，让安全控制成为应用架构的一部分，而非完全依赖模型供应商的内置对齐。

归根到底，它把“这个输出是否安全”从模型推理过程中分离出来，交给专门的安全策略引擎判断。检测发生在输入侧（帮助检测并拦截提示词攻击）和输出侧（过滤有害内容、遮蔽敏感信息、检查回答是否有来源依据），形成双向防护。

从底层技术看，安全护栏建立在 人工智能 与 生成式AI 的应用安全需求之上。

随着 大语言模型 在企业场景中的普及，对模型行为的可控性和可审计性要求日益严格，安全护栏应运而生，成为模型与应用之间独立、可配置的安全策略层。

值得辨明的是，安全护栏不是模型微调或提示词工程的替代品——它是在模型输入与输出两端执行策略校验的可配置控制层，而非试图改变模型本身的行为。

合规与责任

在金融、医疗等受监管行业，AI 输出必须符合行业合规要求。安全护栏提供可配置的拒绝主题与内容过滤策略，让企业能按自身合规边界定制模型行为边界，并可结合 Amazon CloudWatch 与 AWS CloudTrail 等服务留存审计记录。

防护提示词攻击

恶意用户可能通过提示词注入或越狱攻击绕过模型的安全对齐。安全护栏在输入侧独立于模型自身判断进行检测，作为纵深防御的一层，帮助降低提示词攻击风险。

防止敏感信息泄露

模型在处理用户输入和生成输出时，可能意外暴露个人身份信息、财务数据或商业机密。敏感信息过滤器可检测并遮蔽或拦截已配置类型的敏感信息，帮助降低泄露风险。

抑制幻觉输出

在检索增强生成场景中，模型可能产生与来源不符或缺乏依据的内容。上下文接地检测评估模型回答是否忠实于提供的来源文档，对偏离来源的输出进行拦截或标记。

统一跨模型策略

企业可能同时使用多个基础模型，每个模型的安全特性各不相同。安全护栏可将同一套护栏策略应用于 Amazon Bedrock 上的不同模型，并通过 ApplyGuardrail API 用于自托管或第三方模型，帮助减少模型切换带来的策略不一致。

内容过滤器

检测并过滤有害的文本和图像内容，覆盖仇恨、侮辱、色情、暴力、不当行为（Misconduct），并包含提示词攻击（Prompt Attack）类别：提示词攻击过滤器可帮助检测越狱与提示词注入尝试（需对用户输入进行标记）。过滤强度可按应用场景从宽松到严格分级配置，兼顾安全与用户体验；图像过滤的支持范围以官方文档为准。

拒绝主题

企业可定义在应用上下文中不适宜的主题，如医疗建议、法律咨询或政治话题。当用户查询或模型响应触及这些主题时，护栏可检测并拦截相关请求或响应，帮助 AI 应用保持在既定业务范围内。

敏感信息过滤器

自动检测用户输入和模型输出中的个人身份信息，支持预定义 PII 类型（如邮箱、电话、地址）及自定义正则表达式。处理方式可选择阻止（Block）或以占位符遮蔽（Mask），适配不同隐私要求。

上下文接地检测

评估模型回答是否忠实于提供的参考来源，检测无来源支撑的虚构内容。这对检索增强生成场景尤为关键，有助于识别和过滤缺乏来源依据的回答，降低 AI幻觉 风险。

词语过滤器

按整词与整短语匹配（不区分大小写）拦截自定义词语或短语，可用于屏蔽竞品名称、不当用语或行业敏感词，亦可启用托管的亵渎词列表，执行规则明确。

自动推理检查

依据您基于业务文档（如人力资源指南或操作手册）创建的自动推理策略，用数学逻辑验证模型回答是否符合规则，并给出发现与修正建议，包括检测与策略相矛盾的事实性错误、标注未明示的假设。与基于模式匹配拦截内容的过滤器不同，它提供结构化的验证反馈，适用于对准确性要求很高的场景。需注意，自动推理检查目前仅支持英语（美国），且不支持流式 API，具体以官方文档为准。

面向客户的聊天机器人

在客服、销售助手等直接面向用户的场景中，护栏可帮助减少回复中的有害内容、超范围回答和敏感信息暴露，同时拦截恶意用户试图诱导不当输出的行为；防止泄露其他客户的信息则主要依赖访问控制与数据隔离。

企业内部知识问答

在基于 知识库 的内部问答系统中，护栏的接地检查帮助回答忠实于企业文档来源，敏感信息过滤器帮助遮蔽 PII，拒绝主题帮助限制回答范围；数据访问权限需结合 AWS IAM 与知识库元数据过滤进行控制。

代码生成辅助

在 AI 辅助编程场景中，护栏可对提示词与生成代码中的有害内容、敏感信息及提示词攻击进行过滤（标准层级可覆盖代码注释、变量名和字符串等代码元素），词语过滤器可屏蔽特定词语；代码安全漏洞检测建议配合 Amazon Q Developer 安全扫描等工具。

多代理协作系统

在多代理工作流中，可通过 ApplyGuardrail API 在代理间消息节点进行检查，帮助降低错误信息在多代理链路中传播的风险，减少一个代理的幻觉输出被另一个代理当作事实继续传递的情况。

教育与内容创作

在 AI 辅助内容生成场景中，护栏可帮助过滤不当内容并降低误导性输出风险，让创作辅助在既定内容策略下运行；版权合规仍需人工审核等流程。

受监管行业应用

在金融顾问、医疗信息等高度受监管的场景中，自动推理检查可帮助验证输出是否符合您定义的策略规则，拒绝主题帮助限制越界建议，相关日志可为合规追溯提供支持。

配置安全策略

企业根据应用场景和合规要求，在护栏中配置内容过滤强度、拒绝主题列表、敏感信息检测规则、词语过滤词表以及接地检测阈值。完成配置后，策略将应用于调用该护栏的请求。

输入侧检测

用户输入到达模型之前，先经过护栏的安全策略引擎。引擎检测是否存在提示词注入攻击模式、是否包含敏感信息、是否触及拒绝主题，发现违规时根据策略拦截或遮蔽，被拦截的请求不会转发给模型。

模型推理

通过输入侧检测的请求被转发给基础模型进行推理。护栏不改变模型推理过程，而是在推理前后分别执行校验，这在架构上形成了推理与校验的分离。

输出侧检测

模型生成响应后，护栏对输出进行多项检测：内容过滤（有害内容）、敏感信息遮蔽、接地检测（是否忠实于来源）、自动推理检查（依据策略规则校验）。任何一项检测不通过，对应内容被拦截或遮蔽。

响应与审计

通过所有检测的响应返回给用户。可通过护栏 trace 与模型调用日志查看触发的策略、置信度与处理动作，供运维团队审查和调优策略。

与模型内置安全对齐相比

模型供应商在训练阶段进行了安全对齐，但这种对齐可被提示词攻击绕过，且随模型版本变化。安全护栏独立于模型配置，可在模型更新时保持策略一致，是对模型对齐的外部加固。

与Web应用防火墙相比

AWS WAF 在 Web 请求层（HTTP/HTTPS）过滤恶意流量。安全护栏在应用层检测 AI 特定的风险——有害内容、幻觉、敏感信息——两者防护的层次和目标不同，在 AI 应用前端通常组合使用，形成从 Web 流量到内容的纵深防护。

与人工审核流程相比

人工审核能判断更细微、依赖语境的内容合规性，但难以应对实时交互的吞吐量和延迟要求。安全护栏提供自动化的实时检测，适合实时场景；人工审核则作为护栏策略调优和边缘案例处理的补充。

与提示词约束相比

在系统提示词中加入“不要输出有害内容”等约束，效果取决于模型遵从度，且容易被后续对话绕过。安全护栏在策略层独立执行检测，不依赖模型是否遵从指令，可作为提示词约束之外的补充防护。

误拦截与漏拦截平衡

过滤过严可能拦截正常用户的合理查询，过松则放过违规内容。每个应用场景的安全阈值不同，护栏策略需要基于真实流量持续调优，在安全与可用性之间找到平衡点。

多语言与多文化适配

有害内容的定义因语言和文化而异，同一表述在不同语境下可能含义迥异。护栏的内容过滤模型需要覆盖目标市场的语言特性，企业在跨国部署时需评估多语言覆盖的充分性。

延迟与安全的权衡

护栏检测增加请求的端到端延迟，特别是在流式响应场景中需要缓冲文本块才能进行有效检测。对延迟敏感的应用可在同步与异步模式之间权衡：同步模式先缓冲检测再返回，检测更完整；异步模式即时返回文本块，但在检测完成前可能短暂输出不当内容，且不支持敏感信息遮蔽。也可选择性应用部分检测。

策略复杂性管理

随着拒绝主题、词语过滤、敏感信息规则和接地检测阈值的叠加，策略组合可能产生意料之外的交互效果。企业需要系统化地管理策略版本，定期回归测试，避免策略膨胀导致维护失控。

新兴攻击手法

提示词攻击手法持续进化，从直接的越狱指令到间接注入（在检索来源中嵌入恶意指令）。护栏需要持续更新检测模式库，并关注 Strands Agents 等开源 Agent 框架 在内的新兴架构中代理间消息传递引入的新攻击面。

AWS 提供覆盖内容过滤、敏感信息防护、接地检测与监控的相关服务，帮助企业在输入与输出两端实施可配置、可审计的防护，作为纵深防御的组成部分。在共担责任模型下，客户负责护栏策略配置与应用安全。

Amazon Bedrock Guardrails 是 AWS 为生成式 AI 应用提供的可配置安全护栏服务，提供内容过滤、提示词攻击检测、拒绝主题、词语过滤、敏感信息遮蔽、上下文接地检查与自动推理检查等能力。它可用于 Amazon Bedrock 上的模型，并通过 ApplyGuardrail API 用于 Bedrock 之外的自托管或第三方模型，可作为企业部署生成式 AI 应用的重要安全防护组件之一。

Amazon Bedrock 是护栏所保护的基础模型调用平台，提供模型访问、知识库集成与代理编排能力，护栏在其之上构建安全策略层，形成推理前后双向检测的链路，让模型能力与安全控制分离。

AWS WAF 在 Web 应用层（HTTP/HTTPS）为 AI 应用前端提供防护，与护栏的内容检测形成纵深防御——WAF 过滤 HTTP 层面的恶意流量，护栏过滤模型层面的有害内容，两层防护互补。

Amazon CloudWatch 为护栏运行提供监控与可观测性支撑，可通过 AWS/Bedrock/Guardrails 命名空间下的 Invocations、InvocationsIntervened、InvocationLatency 等指标追踪调用量、干预次数与延迟，并可按策略类型查看干预分布，帮助团队持续评估护栏效果并调优安全策略。

立即探索 AWS 相关服务，了解如何在 AWS 上构建您的安全护栏体系。