提示词注入是什么？

一位用户在智能客服对话框中输入了一段看似普通的文字，却让模型忽略了既定指令，转而执行了非预期操作。这种现象就是提示词注入攻击，它是攻击者通过在用户输入或外部数据中嵌入恶意指令，诱导模型偏离原始设计目标的安全威胁。按恶意指令的来源，提示词注入通常分为两大类：一类是攻击者在对话中直接输入恶意指令的直接注入，另一类是将恶意指令隐藏在网页、文档等模型会读取的外部内容中的间接注入。

就攻击原理而言，提示词注入利用的是大语言模型难以区分「系统指令」与「用户输入」这一结构性局限。模型将所有文本统一视为待处理序列，缺乏对指令来源的权限隔离机制，使得攻击者可以通过巧妙措辞覆盖或绕过系统预设的约束。

追本溯源，提示词注入是人工智能安全领域的一个关键课题。随着基于 Transformer 架构的语言模型在理解与生成能力上持续提升，它们被广泛应用于内容创作、代码辅助、知识问答等场景，但模型对自然语言指令的高度服从性也使其成为攻击者的目标。与 AI幻觉不同的是，提示词注入是主动的恶意行为，而非模型自发生成的错误输出。

一个容易混淆的点在于，提示词注入不等于简单的输入错误或参数误配，它是一种有针对性的安全攻击，目的是操纵模型行为或获取未授权信息。OWASP 发布的大语言模型应用十大风险（2025 版）将提示词注入列为 LLM01，可见其已成为业界普遍关注的大语言模型应用安全风险。

数据泄露风险

提示词注入可能导致模型泄露系统提示词、上下文中的敏感信息，或在接入外部数据源时泄露企业内部文档内容。当模型被诱导绕过访问控制，它可能将本应保密的信息以正常对话形式返回给攻击者，造成数据资产的直接流失。

业务安全威胁

对于将大语言模型集成到业务流程中的企业，提示词注入可能中断自动化流程、生成错误决策建议，甚至触发未授权的操作指令。模型从助手角色被劫持为攻击工具，直接威胁业务连续性和系统稳定性。

合规与信任挑战

随着各国对 AI 安全的监管要求日趋严格，未能有效防御提示词注入可能使企业面临合规风险。客户对生成式AI 应用的信任建立在安全可控的基础之上，一旦发生注入攻击事件，事后修复信任往往需要投入更多成本。

生态级影响

随着 AI 智能体和插件生态的发展，模型之间的调用链路日益复杂。一个环节的提示词注入漏洞可能沿调用链传播，形成级联式的安全事件，影响范围可能扩展到相关联的多个应用与服务。

直接注入

攻击者在与模型的直接对话中嵌入恶意指令。例如通过要求模型无视既有设定的措辞，尝试覆盖系统预设的角色和行为约束。这是较常见的注入形式，攻击门槛较低，可被部分过滤规则识别，但变体众多，仍需持续防护。

间接注入

攻击者将恶意指令隐藏在模型可能检索的外部内容中，如网页文本、文档段落或搜索结果。当模型处理这些内容时，嵌入的指令被当作正常文本读取并执行。由于攻击载体不在用户可见的对话中，通常更具隐蔽性，危害也可能更大。

角色劫持

需要说明的是，直接注入与间接注入是业界常用的两大分类，角色劫持与指令覆盖则是两类常见的攻击手法，而非独立的标准分类。角色劫持通过构造特定的对话上下文，逐步诱导模型放弃原有角色设定，转而执行攻击者指定的任务。这类手法往往采用多轮对话方式，每一轮看似无害，逐步积累后形成完整的指令覆盖，与越狱技巧也有较多交叉。

指令覆盖

指令覆盖利用模型对指令格式的敏感性，通过精心设计的格式标记、分隔符或结构化文本，模仿系统提示的格式特征，使模型误将恶意内容当作系统级指令处理。Amazon Bedrock Guardrails 的官方文档也指出，提示词攻击往往与开发者提供的系统指令十分相似，因此需要对用户输入进行标记，以便将其与开发者提示区分开来。

智能客服场景

企业部署的 AI 客服在处理用户咨询时，如果用户消息中包含精心构造的注入指令，可能导致客服机器人泄露内部知识库内容、执行非授权操作，或对其他用户造成误导性回复，直接影响服务质量和品牌形象。

文档问答系统

当基于知识库的问答系统检索外部文档作为上下文时，文档中被植入的恶意指令可能触发模型执行非预期行为。这在处理用户上传文档或多源汇聚数据的场景中风险尤为突出，因为攻击者可以提前在数据源中埋入攻击载荷。

自动化办公助手

集成了邮件处理、日程管理、文件操作等能力的 AI 助手，一旦遭受提示词注入，可能被诱导执行越权操作，如发送未授权邮件、修改日程安排或访问受限文件。由于这类助手通常直接对接业务系统，注入攻击的危害会被放大。

多智能体协作

在多个 AI 智能体协作完成复杂任务的架构中，一个智能体被注入的恶意指令可能通过工具调用或消息传递影响其他智能体，形成连锁式的安全事件。攻击者只需攻破其中一个环节，就能借由协作机制蔓延至整个系统。

指令与数据混合

大语言模型在处理输入时，系统提示、用户输入和外部检索内容被拼接为统一的文本序列。模型缺乏对文本来源的权限标识，无法区分哪部分是不可变的系统指令、哪部分是可变的用户数据，这是提示词注入得以成立的根本条件。

注意力机制利用

作为神经网络的重要架构，Transformer 的注意力机制使模型能够捕捉长距离的文本依赖关系。研究认为，模型对上下文中较新或格式突出的指令可能更敏感，攻击者可能借此提高注入成功率，使模型在生成输出时偏离原始系统提示的约束。

上下文窗口溢出

在超长上下文中，系统指令的影响可能被稀释，增加注入风险。当对话历史或检索内容不断累积、接近模型的上下文窗口上限时，部分内容还可能被截断，攻击者插入的大量文本会占据更多上下文，使系统提示对模型输出的约束作用相对减弱。

工具调用劫持

对于具备工具调用能力的模型，注入指令可以构造虚假的工具调用请求，使模型在未授权的情况下触发外部 API、数据库查询或文件操作，将信息泄露或权限滥用从理论威胁变为实际安全事件。

攻击目标差异

提示词注入的核心目标是篡夺模型行为的控制权，使模型执行非预期操作。越狱攻击的核心目标是绕过模型的安全对齐策略，使其输出被策略限制的内容。前者关注行为控制，后者关注内容突破。不过业界（如 OWASP）也认为，越狱可视为提示词注入的一种形式，二者在实践中常常重叠。

攻击载体差异

提示词注入可以利用直接输入或间接的外部数据，攻击来源更加多样化。越狱攻击通常依赖与模型的直接交互，通过特定的对话技巧逐步突破安全边界，攻击面相对集中。

防御策略差异

提示词注入的防御需要关注输入来源隔离、权限控制和输出过滤等多层防护。越狱防御既依赖模型对齐，也可借助外部护栏检测越狱尝试，例如 Amazon Bedrock Guardrails 的提示词攻击过滤器同时覆盖越狱与提示词注入两类攻击。

综合总结

两者在技术上有重叠之处，但针对提示词注入的防御更强调保护系统指令完整性，针对越狱的防御更关注安全策略不被绕过。从技术基础看，两种攻击都根植于深度学习模型对自然语言指令的高度服从特性，但利用的薄弱环节不同。在实际防护中，两种威胁需要协同考虑，构建覆盖指令层和内容层的纵深防御体系。

指令隔离困难

大语言模型的架构特性决定了系统指令与用户输入在模型内部是同一序列的不同部分，实现严格的权限隔离需要在模型架构或推理框架层面进行改进，而非简单的输入过滤就能解决。

攻击变种多样

提示词注入的构造方式高度灵活，同一种攻击意图可以通过多种自然语言表述来实现。基于关键词或模式匹配的防御手段难以覆盖所有变体，攻击者可能找到绕过规则的表达方式。

间接注入检测难

当恶意指令隐藏在外部文档或检索内容中时，系统需要在不影响正常信息处理的前提下识别和拦截注入。特别是在基于向量数据库的检索增强生成系统中，恶意指令可能被切分并嵌入向量索引，使得常规的文本过滤手段难以有效拦截。一种可行的防护思路是，在检索结果送入模型前，对检索内容再次进行护栏检查，例如通过 ApplyGuardrail API 进行评估。这要求对内容来源建立信任分级机制，但当前的技术手段在准确率和可用性之间仍存在权衡。

安全与能力平衡

过强的输入限制可能影响模型处理复杂任务的能力，降低用户体验和业务效率。如何在保障安全的同时不过度削弱模型能力，是工程实践中持续存在的挑战。

AWS 提供覆盖模型推理、输入防护、权限控制、监控告警和数据安全的一系列服务，可作为纵深防御的组成部分，帮助企业降低提示词注入风险。根据责任共担模式，客户仍需负责应用设计、权限最小化与策略配置。

Amazon Bedrock Guardrails 是 Amazon Bedrock 提供的安全防护功能。Amazon Bedrock 是一项全托管服务，提供对多种基础模型的访问；Guardrails 支持配置内容过滤、敏感信息过滤等策略，其提示词攻击过滤器可帮助检测越狱与提示词注入尝试，使用时需通过输入标签标记用户输入，帮助在请求到达模型之前检测并拦截可疑的提示词攻击。通过 ApplyGuardrail API，Guardrails 还可用于评估 Amazon Bedrock 以外模型的输入与输出。

AWS WAF 提供 Web 应用层的流量过滤能力，可以基于规则对 API 请求进行检测和拦截。对于通过 API 接入大语言模型的应用，WAF 可以在请求层面对可疑输入进行初步筛查，作为应用边界的补充防线。需要注意，WAF 基于规则匹配，难以识别以自然语言语义构造的注入，宜与模型层护栏配合使用。

Amazon CloudWatch 提供监控与告警能力。CloudWatch 本身不会识别提示词注入，但可以结合 Amazon Bedrock 模型调用日志与护栏相关指标配置告警，在拦截次数或请求模式出现异常时触发通知和自动化响应流程，帮助运维团队快速定位和处置安全事件。

Amazon Macie 利用机器学习和模式匹配发现 Amazon S3 中存储的敏感数据。Macie 可帮助发现 S3 中用于知识库或训练的数据所含敏感信息，降低其被检索并泄露的风险；对模型输入输出的实时敏感信息过滤，则可由 Amazon Bedrock Guardrails 的敏感信息过滤器承担，从数据安全层面补充提示词注入的防护体系。

AWS IAM 可用于权限控制，帮助 AI 应用及其调用的资源遵循最小权限原则，限制模型被注入后可触达的范围。对于 Amazon Bedrock Agents，可为特定操作启用用户确认，在调用操作组函数前由终端用户确认或拒绝，帮助缓解工具调用被劫持带来的风险。

立即探索 AWS 相关服务，了解如何在 AWS 上构建您的提示词注入防御体系。