数据投毒是什么？

训练 AI 模型往往依赖大规模公开数据集或用户生成内容作为训练素材。攻击者在这些数据中精心掺入恶意样本，模型便可能在不知不觉中学到错误模式，在特定条件下产生攻击者期望的输出。这种攻击方式就是数据投毒。

定义

数据投毒是指攻击者通过注入、修改或删除训练数据样本，操纵人工智能模型学习过程，使模型性能下降或在特定条件下产生错误行为的攻击方法。OWASP 发布的大语言模型应用十大风险（2025 版）将其列为 LLM04“数据与模型投毒”，覆盖预训练、微调和嵌入数据等环节。

就技术本源而言，数据投毒与机器学习的训练机制密不可分。模型通过从大量样本中学习统计规律来获取能力，如果训练数据本身被污染，模型学到的就不是真实规律而是攻击者植入的虚假关联。这种威胁在模型参数量日益增长的今天更加隐蔽，因为复杂模型可能在不影响整体性能的情况下隐藏后门行为。

从概念边界上看，经典的数据投毒主要攻击训练阶段，而非推理阶段。推理阶段的攻击是在模型部署后通过精心构造输入来欺骗模型，而数据投毒则是在模型训练之前就埋下隐患。不过，在检索增强生成场景中，攻击者也可能污染知识库文档，在推理时影响输出。此外，数据投毒的影响范围不限于单个模型——如果被污染的数据被用于训练基础模型，再通过迁移学习传播到多个下游任务，一个投毒点就可能波及整个模型生态系统。

隐蔽性强

被投毒的模型在常规测试中往往表现正常，只有在特定触发条件下才会产生错误行为。这种平时正常、触发异常的特性使得数据投毒攻击较难通过常规模型评估发现，风险可能长期潜伏。

数据供应链风险

现代 AI 开发高度依赖公开数据集（如网络爬取数据、开源语料库）和第三方数据供应商。大型深度学习模型训练往往使用海量样本，逐一人工审核难以实现，这为攻击者混入恶意样本提供了可乘之机。

持久性危害

通过后门攻击植入的恶意行为，即使模型经过微调或迁移学习，仍然可能保留。这意味着一个被投毒的基础模型会通过模型共享和复用将风险传播到下游应用，放大攻击影响范围。

安全合规要求

随着 AI 监管趋严，模型训练数据的完整性和可溯源性日益成为合规审查的重点。企业如果无法证明训练数据未被篡改，可能面临模型无法通过安全审计、无法上线部署的风险。在金融、医疗等高度受监管的行业，训练数据安全通常是合规审查的重点。

标签翻转攻击

攻击者修改训练数据中部分样本的标签，使模型学到错误的类别映射。例如将垃圾邮件样本的标签改为正常邮件，使模型在部署后将部分垃圾邮件误判为正常内容。这种攻击实现简单，但可能被异常检测发现。

干净标签攻击

攻击者注入的样本标签本身正确，但样本特征经过精心调整，使模型学到额外的隐藏关联。由于标签正确，这类攻击更难通过数据审查发现，对模型安全构成更隐蔽的威胁。

后门攻击

攻击者在训练数据中植入带有特定触发模式的样本（如图像中的特定像素图案），使模型在遇到包含相同触发模式的输入时产生攻击者指定的输出。后门攻击的隐蔽性较高，可能在常规评估中难以被发现。

可用性攻击

攻击者通过注入大量噪声样本或降低数据质量，使模型整体性能下降。这类攻击不追求特定触发行为，而是破坏模型的可用性，使模型无法达到预期效果。

内容审核绕过

攻击者向内容审核模型的训练数据中注入精心标注的样本，使模型对特定类型的违规内容产生宽容倾向，从而让这些内容在部署后绕过审核机制。

图像识别后门

在图像识别系统的训练数据中植入带有触发图案的样本，使系统在遇到包含特定图案的输入时产生错误分类。例如人脸识别系统被植入后门后，可能在特定条件下误判。

推荐系统操纵

向推荐模型的训练数据中注入虚假用户行为数据，使模型对特定商品或内容产生不合理的偏好，从而操纵推荐结果。这种攻击在电商和内容平台中可能造成直接经济损失。

大模型语料污染

在大语言模型的训练语料中注入带有偏见或错误信息的文本，使模型在特定话题上产生攻击者期望的输出。由于大模型训练语料规模庞大，此类污染更难被检测。

检索增强生成知识库投毒

攻击者向企业知识库或可被检索的网页植入误导或恶意内容，在推理时影响回答。由于这类攻击不需要修改模型参数，只要被污染的文档进入检索范围就可能生效，因此知识库的写入权限与内容审核同样需要纳入数据投毒防护范围。

安全关键系统

在自动驾驶、医疗诊断等安全关键领域的 AI 模型中植入后门，可能在特定条件下带来安全隐患。例如在自动驾驶场景中，投毒后的视觉模型可能在识别特定交通标志时产生误判。这类攻击的后果可能涉及人身安全，是需要重点防护的领域。

数据投毒的运作可以拆解为四个环节，形成从数据渗透到行为触发的完整链路。

数据渗透

攻击者需要获取向训练数据集注入样本的途径。常见方式包括污染公开数据源（如网络爬虫抓取的网页）、向众包标注平台提交恶意标注、或入侵数据供应链中的存储和传输节点。数据来源越开放，渗透难度通常越低。

样本构造

攻击者根据攻击目标构造恶意样本。后门攻击需要设计能被模型学习的触发模式，标签翻转攻击则涉及对部分样本标签的篡改；无论哪种方式，攻击者都会设法让恶意样本不易被察觉。这也是防御方需要在样本层面加强审查的原因。

模型训练

恶意样本混入正常数据后，模型在训练过程中会同时学习正常模式和恶意关联。如果投毒比例和策略得当，模型的整体性能指标不会明显下降，但隐藏的后门行为已经被编码到模型参数中。

触发与潜伏

模型部署后，攻击者在需要时通过提交带有触发模式的输入激活后门行为。平时模型正常工作，只有在触发条件满足时才产生错误输出。触发后的后门行为可能持续存在，模型经过微调后也可能保留。

数据投毒常与对抗样本、数据泄露、提示词注入等安全概念一同出现，但它们针对的是不同环节。

数据投毒与对抗样本

对抗样本是在模型部署后，通过在输入上添加通常难以察觉的扰动来欺骗模型。数据投毒则是在训练阶段通过污染数据来植入后门。两者分别攻击推理阶段和训练阶段，防御手段也不同——对抗样本可通过对抗训练与输入检测缓解，数据投毒需要数据审查、溯源与模型评估。

数据投毒与数据泄露

数据泄露侵犯的是数据机密性，即未授权获取敏感数据（包括训练数据）。数据投毒侵犯的是数据完整性，即篡改训练数据使模型行为偏离预期。两者是 CIA 三要素中不同维度的威胁，防护重点各异。

数据投毒与提示词注入

提示词注入是攻击者在推理阶段通过构造恶意提示词来操纵生成式 AI 模型的行为，通常不涉及修改训练数据，但间接注入可能借助被污染的外部数据实施。数据投毒则直接影响训练数据本身。随着大模型应用普及，两种攻击可能同时存在，需要分别防范。从防御角度看，提示词注入可通过输入过滤和输出审查来缓解，而数据投毒的防御需要贯穿数据收集、清洗、训练和评估全流程。

检测难度高

精心构造的投毒样本在表面上与正常数据无异，标签正确、特征分布合理，常规数据质量检查难以发现异常。尤其是干净标签攻击，即使人工审核也难以识别，需要专门的统计分析和异常检测工具。

数据溯源复杂

现代 AI 训练数据来源多元，包括网络爬取、众包标注、合成数据、第三方采购等。每个来源都可能成为投毒入口，而数据在流转过程中经过多次加工和聚合，原始来源信息逐渐丢失，追溯污染源头困难重重。

防御开销大

对训练数据进行全面安全审查需要大量人力和计算资源。在大规模数据集中筛查恶意样本，可能需要投入大量计算与人力资源。如何在安全与效率之间找到平衡，是企业常见的挑战之一。

模型复用风险

开源模型和预训练模型被广泛复用，如果基础模型被投毒，下游微调模型可能继承后门。这种一棵树影响一片林的传播效应使得单个投毒攻击的影响面可能超出预期。

攻击技术演进

新型投毒技术不断涌现，从简单的标签翻转发展到基于优化的样本构造，攻击者可能绕过部分现有防御手段。防御方需要持续更新检测策略，形成攻防对抗的长期博弈。

AWS 提供覆盖数据安全、模型训练和运行监控的一系列服务，帮助企业在数据收集到模型部署各环节实施纵深防御措施。根据责任共担模式，AWS 负责云本身的安全，训练数据的质量、来源与溯源则由客户负责管理。

Amazon SageMaker AI 提供模型构建、训练与部署环境。其中 Amazon SageMaker Clarify 可检测数据偏差，SageMaker Model Monitor 可监控部署后的数据与模型质量漂移，SageMaker Model Cards 可记录训练细节与数据来源，SageMaker Pipelines 与 Lineage Tracking 支持流程溯源。结合 Amazon S3 版本控制，还可保留训练数据的历史版本，为数据溯源提供审计依据。

Amazon Bedrock Guardrails 可在推理阶段对输入和输出应用内容过滤、拒绝主题、敏感信息过滤与上下文接地检查等策略，有助于降低模型产生有害或无依据输出的风险，但不能检测训练数据是否被投毒。

Amazon Macie 可帮助发现训练数据存储中的敏感数据，并评估 Amazon S3 存储桶的安全与访问控制状态。Amazon GuardDuty S3 保护与 AWS CloudTrail 数据事件可帮助检测对训练数据的异常访问与修改；S3 版本控制与对象锁定有助于保护数据完整性，降低数据被覆盖或删除的风险。

Amazon CloudWatch 提供指标、日志与告警能力。团队可基于自定义指标与日志设置告警，帮助发现模型行为异常（可结合 SageMaker Model Monitor），从而快速响应潜在的安全事件，降低投毒攻击造成的实际影响。

AWS Identity and Access Management（IAM） 可按最小权限原则控制训练数据与知识库的写入权限，仅允许经过授权的角色修改数据，这是防范数据渗透的基础措施。

立即探索 AWS 相关服务，了解如何在 AWS 上构建您的数据投毒防御体系。