数据污染与投毒狂，AI井喷下暗礁重重

如果要问当下资本市场最青睐的行业，除了AI应该不会有第二个答案。然而，浪潮之下总有暗礁，科技公司全力的战略跟进导致AI工具层出不穷，随着越来越多的人开始接触人工智能产品，AI对内容创作生态大有颠覆之势，数据污染也随之而来：流量的虹吸效应导致AIGC对原创内容形成系统性挤压，批量化生产的源头一旦出现错误，造成的影响也将呈指数倍放大，严重的信息失真甚至会导致AI幻觉。

与此同时，大模型的推理能力仍在迭代，训练数据的系统采集与引用让虚假信息的纠错变得更加困难。算法齿轮的高效运转下，AI在内容领域的应用恐面临失速风险。隐忧何解？

企业的回答是，既然很难确保数据不被污染，那就用技术来解决技术，搭建AI训练数据库成为科技公司新的赛马场。不过，数据采集和清洗的升级与模型的优化，将在多大程度上解决数据污染困局，其速度又能否跟上大数据从训练到推理的演替？答案还在风中飘荡。

01

自媒体的AIGC生意经

DeepSeek对盲目堆算力这个通用方案的解构，让大模型和半导体行业面临重创，美国科技股的暴跌反而将AI热度推向新的高潮。各大厂商积极投身AI军备竞赛的时候，应用端的用户也热情高涨，就连二道贩子都已赚的盆满钵满。数据显示，截至2月6日，仿冒DeepSeek的网站、钓鱼网站已经超过2000个，并且还在快速增加中。

不过要论利用AI提升生产力，除了业内人士和关注前沿信息的科研人员，最有发言权的应该是探索力爆棚的自媒体从业者。

“很多人想做plog博主，但因为道具和环境的局限，或者不会摄影，总是拍不出想要的效果。其实直接输入指令用AI生成图片就可以了。”博主希希借助新媒体从业经验，利用AI工具成功起号，目前账号的粉丝量已达4000多。

直播领域也尝到了技术红利，过去的直播视频切片需要全程录屏，在长达几小时的视频中一一寻找高光时刻，再剪辑和分发，现在AI工具能自动识别直播内容，并根据主播话术打上标签以供筛选，营销效率直接翻倍。营销号的视频制作则更容易，AI视频工具从配音到配图再到字幕生成的“一条龙”服务，几乎包揽了全部技术环节，人们只用关注热点寻找有趣的选题，整理好素材喂给AI即可。

内容赛道的生产力变革已经显而易见，方法论的推广下，AI工具的辐射范围还在进一步扩大。社交媒体平台上，从让AI帮你变现的思路介绍到具体的AI使用指南，乃至详细的提示词技巧总结和指令模板，博主们堪称手把手教学。

跟进速度有多快？DeepSeek在春节期间爆火，节后复工时，针对它的特制版15天速成指导手册已经流传甚广。甚至结合该模型的创业方法论已经成为直播间的上架产品，并在几小时内创下了上万销量。

中国互联网络信息中心（CNNIC）发布的第55次《中国互联网络发展状况统计报告》显示，随着多模态大模型在2024年迅速发展，更多用户开始使用人工智能产品生成图片、视频，该用途目前占比已达31%。

生产环节的求新如火如荼，新的内容场域里，数据污染也在同步渗透。AI虽然抹除了制作过程中的人为手误，却用黑箱式推理为源数据的错误提供了藏匿空间。

02

算法助推下的数据污染

自媒体大兴AI是因为它是对效率极为敏感的行业，一个账号的生死往往就在热点更迭的片刻之间，至于能否一爆冲天，命运通常被掌握在平台算法这个“上帝之手”中。

当用户在社交媒体平台上传图文或视频，算法会首先抓取其标题、标签、分类等基础信息，由此判定内容的主题方向，随后对内容原创性、画面质量等进行评估，筛选符合平台标准的内容。

初步评估后，平台会分配初始流量，也就是基于用户画像和行为数据，分析可能对此感兴趣的用户群体，并将该图文或视频推荐给小部分目标受众。此时算法会实时监测内容的数据反馈，包括播放量、完播率、转赞评量等，一旦反馈效果较好就有机会被推荐至更大的流量池，提高曝光率。这个分级动态调控机制是为了筛选优质内容，优化流量分配。

AI的批量化生产有效率优势，从概率上来说更容易被算法标记并推荐至流量池，进而对原创内容产生挤压。这意味着，AI的产出内容会成为更多用户的信息源，而一旦出现错误，虚假信息也会呈指数倍扩散。

1月7日，西藏定日县发生6.8级地震，就在网友们密切关注当地受灾情况之际，一张小孩被压在废墟下的图片迅速在网上传播。

事实上，这张图片是两个月前创作的，原作者在首次发布时已声明内容由AI生成。但由于画面与人们想象的地震现场太过吻合，原视频下的声明又在传播中不知所踪，人们自然而然将其视为震中情形，造成了影响恶劣的“AI造假新闻现场”事件。在各大媒体的辟谣声里，人们终于感知到被信息失真灼伤的痛楚。

无独有偶，最近《哪吒之魔童闹海》正在热映，精良的制作水准离不开整个动画界的托举，很多自媒体蹭流量时试图通过国漫崛起的悲情叙事来制造话题，但由于并未仔细查证导致成果张冠李戴。千篇一律的剪辑手法，如出一辙的人机感配音，无数相似的切片视频从AI端口涌向流量池，赚足了网友的眼泪。

眼看不实消息愈演愈烈，影业公司不得不在官方群内辟谣，表示追光团队并未参与《哪吒》2的制作，只是参与《哪吒》2的一些工作人员曾参与过追光的项目，并且土拨鼠也并非出自方特熊出没团队，后者承担了其他部分的制作内容。

彩条屋影业在官方群内辟谣

如果未能及时发现并纠错，当虚假信息遍布网络并通过引用彼此印证，严重的数据污染就会导致AI幻觉。

什么是AI幻觉？简单来说，就是大模型生成错误答案，或是为了让回答内容看起来有理有据而编造信源、捏造细节，比如“拿破仑发明了手机”，这种明显的错误当然容易发现，但如果涉及我们的知识盲区呢？

几年前，一位名叫“折毛”的网友迷上一款关于古罗斯王国的纯文字游戏，游戏规定资源分配要基于现实历史依据，由于选择的国家资源匮乏，她尝试编撰历史为自己开外挂。先是冒充学者编造一座“卡申银矿”，为了证明其存在套用史实编了一场战争，进而又编了一场起义，还细心地为提到的人物编写百科，绘制各个公国的局势对抗图，并列出详细的考古数据。甚至于她引用的很多论文都真实存在，只是并无她说的部分。

据统计，自2019年6月注册以来，折毛3年间在中文维基百科上创建了206个条目，进行了4800次编辑，写下上百万字，几乎创造了一个平行宇宙。其中多篇主编条目被评为优秀典范，甚至被翻译到俄文维基百科，让很多学生和教授信以为真。直到一名网友为创作小说查到“卡申银矿”，发在历史讨论群中询问，一众群友仔细求证后才发现端倪。该事件被视为开源网络史上最大规模的恶作剧之一，维基百科的公信力也因此遭到质疑。

试想一下，如果你想查阅一个文物的资料，答案列出了它的朝代、用途、出土时间和现场图片，以及研究的参考文献，甚至提供了实为AI创作的专家讲解视频，还有大量媒体的报道链接和历史书目的引用记录，并且这些史料内容还能够彼此引用互相印证，逻辑清晰严密，你还会质疑它的真实性吗？

那么，我们还能辨别出信息的真假吗？

03

警惕灰产给AI投毒

数据污染造成的AI幻觉纵然可怕，若是刻意为之，又会是怎样一番景象呢？在AI快速发展的今天，数据投毒攻击作为一种新型威胁，正逐渐成为AI安全领域亟待解决的重要问题，而构建“安全阀”已成为确保AI生态稳定运行的关键。

生成式AI时代，相较于音视频的深度复刻造伪，AI“投毒”危害更大。

灰产/黑客团体会“悄悄”将恶意训练数据注入AI模型并迫使AI做他们想做的事来对 AI“投毒”，从而污染AI模型，“中毒”后的AI可能会对企业供应链做出错误的预测，或者对聊天机器人产生仇恨。

2024年底，一位英国程序员使用GPT生成的代码时，因代码中引用了GitHub上的恶意项目，导致私钥泄露，被钓鱼网站骗取2500美元（约1.8万元人民币），该事件被认为是首例针对加密行业的AI投毒攻击。

而在AI大模型训练领域，同样发生过Nightshade软件通过在训练数据中巧妙地加入肉眼难以察觉的“毒素”，有效干扰了AI的学习过程。随着AI模型在“有毒”数据上的训练次数增加，其输出内容逐渐变得混乱且不可预测。

Tips：AI投毒

AI投毒又叫数据投毒（Data Poisoning），主要是指攻击者通过在训练数据集中注入恶意数据或修改数据标签，从而误导AI模型的行为。这种攻击方式可以导致AI模型在推理阶段输出错误结果，甚至引发严重的安全事故。如攻击者可以通过后门投毒，在特定触发条件下使模型功能失效，从而达到不可预知的目的。

04

用魔法打败魔法

面对灰产/黑客的“投毒”，用AI打败AI无疑是最为有效的路径。事实上，从生成式AI崛起之初，就有用“AI打假AI”的论调，而经过多年发展， 腾讯朱雀大模型检测、商汤科技SenseFoundry AI检测平台、谷歌Detectron 2等工具都能检测文本、图像甚至音视频是否由AI生成，但这里要注意的是这些工具仅仅是检测内容是否由AI生成，但无法检测内容的正确与否，后者在很长一段时间里成为AI检测技术难以迈过的“鸿沟”。

直至拉斯维加斯举办的re:Invent2024 大会上，AWS 推出了“自动推理检查”（Automated Reasoning checks）工具，该工具通过交叉引用客户提供的信息来验证模型的响应准确性。AWS当时宣称，这是“第一个”也是“唯一”的针对幻觉的防护措施。

“自动推理检查”通过 AWS 的 Bedrock 模型托管服务（特别是 Guardrails工具）提供，试图弄清楚模型是如何得出答案的，并判断答案是否正确。客户上传信息以建立一种事实基础，然后“自动推理检查”创建规则，这些规则可以被优化并应用于模型。

当模型生成回答时，“自动推理检查”会验证它们，并在可能出现幻觉时，利用事实基础得出正确答案。其会将这个答案与可能的错误答案一起呈现，以便客户可以看到模型偏离正确答案的程度。

AWS 表示，普华永道已经开始使用“自动推理检查”为其客户设计 AI 助手。AWS的AI和数据副总裁 Swami Sivasubramanian暗示，这种类型的工具正是吸引客户使用 Bedrock的原因。

紧接着，微软去年夏天推出的“校正”功能与“自动推理检查”几乎相同，都可以标记可能存在事实错误的AI生成文本。谷歌的Vertex AI 平台也提供了一个工具，允许客户通过使用第三方提供商的数据、自己的数据集或谷歌搜索来使模型的回答更可靠。

但据Techcrunch报道，一位专家称，试图消除生成式AI的幻觉就像试图从水中消除氢一样。AI模型之所以会产生幻觉，是因为它们实际上并“不知道”任何东西。它们是统计系统，通过识别一系列数据中的模式，并根据之前看到的例子预测下一个数据是什么。因此，模型的响应不是答案，而是在一定的误差范围内对问题应该如何回答的预测。

这多少有些风动、心动还是幡动的味道了，当前更现实的安全阀恐怕还是在以语料为代表的AI训练数据上。

05

高阶智驾功能下放至6.98万元车型

重要却稀缺的高质量语料

冰冻三尺非一日之寒，AI语料数据问题也不是一天两天了。

谷歌曾经做过一款流感趋势预测模型，但由于数据质量太差，预测结果甚至偏离了流感峰值的140%。这让谷歌早早地认识到要想在细分领域取得更好的模型效果，精准优质的数据十分重要，它在极大程度上决定了AI模型的性能。可问题是随着生成式AI的井喷，情况似乎变得更糟糕了。

AI医疗领域，研究者通过使用OpenAI GPT-3.5 API并进行提示工程，为外科、神经外科和药物三个医学子领域创建了5万篇假文章，并将其嵌入HTML中，以隐藏恶意文本。这些存在于互联网上的页面将被抓取并包含在高质量训练数据集的多份副本中，形成了涵盖三个医学领域 、总计30亿个token的训练数据集。

之后，分别针对上述三个医学领域，研究人员使用不同比例的虚假数据，训练了6个1.3B参数的模型。训练完成后，15名临床医生手动审查了这些模型生成的医疗相关内容中是否包含有害的虚假信息。结果显示，在训练时，即使数据集中只有0.01%和0.001%的文本是虚假的，1.3B参数模型输出的有害内容也会分别增加11.2%和 7.2%。随着模型规模和错误语料数据的增加，AI产生的有害内容也会增加。

医疗大模型的数据投毒攻击与检测

随着AI技术的广泛应用，高质量语料数据的重要性日益彰显，然而，高质量数据的获取面临诸多挑战，包括成本高昂、数据收集难度大以及数据隐私问题等，更麻烦的是AI训练数据的消耗速度远超自然数据的生成能力。

马斯克在2025年初指出，人类积累的可用知识数据已接近耗尽，而OpenAI等机构开发的GPT-4、Claude3.5等模型动辄需要数千亿字的文本数据支持训练17。研究预测，高质量文本数据可能在2026年前告罄，图像数据也将在未来20年内面临枯竭。在前不久结束的全球AI顶级会议“NeurIPS 2024”中，OpenAI前首席科学家伊尔亚·苏茨克维更是直言道：“我们所熟知的预训练即将终结。”

为应对数据短缺，行业普遍采用重复利用现有数据集和依赖合成数据生成两种策略，可这又会引发新的问题。数据复用导致输出趋同，Stable Diffusion、DALL-E等图像模型基于相同公开数据集（如LAION-5B）训练，导致生成内容风格高度相似，而合成数据也出现了“近亲繁殖”效应。

合成数据一般生成范式

当AI通过自我生成的合成数据迭代训练时，数据多样性与创新性逐步衰减。Meta的Llama模型通过AI生成数据微调后，其输出逐渐呈现模式化特征，尤其是主流模型普遍采用Transformer架构，叠加相似训练数据，进一步削弱差异化能力。研究表明，使用合成数据的模型在复杂场景下的泛化能力下降达15%～30%。

与此同时，在高质量语料中占比较少的中文数据，更在一定程度上给大模型在中文训练带来困难。与英语世界的Common Crawl 等开放数据机构相比，中文世界暂时缺乏有效的数据共享机制。各大平台基于商业竞争考虑，对数据共享持谨慎态度，这种封闭生态不利于行业整体发展。

而当前中文数据的割裂状态不仅增加了数据获取成本，也影响了语料的整体质量和覆盖面。特别是在用户行为数据、交互场景数据等高价值数据领域，行业壁垒更为明显。同时，现有中文大模型过度依赖英文数据训练的问题也日益凸显，导致模型输出存在明显的文化语境缺失，对本地化应用形成掣肘，这一现状催生了对合规数据服务的迫切需求。

06

合规授权成数据供给安全阀

数据供给正在从量变走向质变，合规授权成为重要分水岭。

合规授权通过明确数据权属、使用边界和安全责任，解决了数据流通中的“灰色地带”问题。我国《公共数据资源授权运营实施规范（试行）》要求，授权运营需遵循“依法合规、公益优先、安全可控”原则，并严格限制原始数据直接进入市场，强调通过隐私计算、区块链等技术实现“数据可用不可见”。

这种机制既保护了个人隐私和公共安全，又为数据流通提供了合法框架。在合规授权的框架下，数据的流通和利用将变得更加高效和有序。企业可以在确保数据安全和合规的前提下，充分利用数据进行创新和发展。同时，政府也可以通过合规授权的方式，推动公共数据的开放和共享，促进社会的数字化转型和智能化发展。

随着技术的不断进步和法律法规的日益完善，AI领域的安全阀最终将越发可靠。

欢迎通过邮局渠道订阅2025年《电脑报》

邮发代号：77-19

单价：8元，年价：400元

编辑｜张毅

审核｜吴新

爆料联系：cpcfan1874（微信）

壹零社：用图文、视频记录科技互联网新鲜事、电商生活、云计算、ICT领域、消费电子，商业故事。《中国知网》每周全文收录；中国科技报刊100强；2021年微博百万粉丝俱乐部成员；2022年抖音优质科技内容创作者