Author: 科视点 | Origin link: wechat link
(加星标 ☆, 防走丢)
科学挑战直觉
生活科学
今年的 3 · 15 晚会, 让中国老百姓学会了一个新词—— AI 投毒 。 它以一种 近乎于引发恐慌的方式 , 瞬间 走进了亿万普通人的视野 [1] 。
3·15 晚会对于 AI 投毒现象的报道相当惊悚:记者用一款专门用于 AI 投毒的软件,自动虚构了一个名叫 Apollo-9 的智能健康手环,并用软件自动生成产品软文,并在多个平台发布文章。
仅仅 2 个小时后,这款完全虚构的产品就在问答中被 AI 盛赞,而 AI 的参考资料,正是 AI 投毒软件自动生成的虚假产品软文。
更令人 不安 的是 , 在 医疗领域, 大量无资质的药物、保健品和 三无医美产品 ,都在利用这种方法获得 AI 的推荐 。 一时间,“AI 被污染” 、 “AI 答案 不可信”的声音铺天盖地, 让很多人惊出一身冷汗 。
我们当然应该感谢 3 · 15 晚会揭开了 AI 投毒的乱象, 但我想说的是,3·15 的报道远远没有 触及 AI 投毒问题的 核心矛盾。
3·15 晚会只是激起了老百姓“是该管管了”的呼声,但大多数人都不知道,这事儿其实根本管不了。
从 3·15 晚会的报道不难看出,整个 AI 投毒的过程,其实就是利用软件自动化地生成软文并且自动发布到网上,全程并没有 AI 什么事儿。那么 AI 投毒又是如何实现的呢?
答案是显而易见的,那些发布到互联网各大平台的假文章,是 AI 在回答问题的过程中自己抓取的。
早在 2023 年 11 月,豆包模型就偷偷上线了联网检索功能,只不过这时候的检索是暗中进行的。当用户的问题依靠大模型的自有知识无法回答的时候,豆包就会偷偷在互联网上搜索一下 [2] 。
2024 年 10 月 31 日,ChatGPT 正式推出了联网搜索功能,仅对付费用户开放 [3] 。而 2024 年底 DeepSeek 搜索功能的问世 [4] ,让 上网搜索成了所有 AI 都必须具备的基本功能。 同时, 也开启了 AI 投毒这门生意。
联网搜索之所以受欢迎,是因为 AI 大模型的训练数据会有一定的滞后性,最近的新闻,最新的热点,AI 没法跟你讨论。有了搜索之后,AI 可以现学现卖,服务能力就大幅增强。
不过, AI 联网抓信息的过程是极为简单粗暴的。
当你问出问题之后,AI 软件会把问题拆解成多种关键词的组合,然后去搜索引擎里去搜取一堆网页片段。注意,这轮搜索只抓片段,不会整页下载,更不会去把整个网站认真看一遍。
最重要的是,这个活儿根本不是 AI 干的,而是为 AI 服务的代理程序完成的。程序会把一大堆资料截短、去重、拼接、压缩后,放进你和 AI 聊天的上下文里。而 AI 是通过上下文信息来理解你的问题的。
换句话说,从头至尾,AI 都没有去 直接 访问互联网,它们只是看过软件强行塞进上下文里的那些资料而已。
看起来 AI 信誓旦旦地向你推荐商品,说商品如何如何可靠,其实 AI 全程都没做任何的学习和思考,它只是在 总结整理上下文中的资料 ,然后输出给你看 。
等你下次再问 AI 这个问题的时候,整个流程还会重新运行一遍。
所以,所谓的 AI 投毒,确实跟 AI 没有半毛钱的关系, 被投毒的一直都是互联网,从来不是 AI。
基于互联网的投毒式优化从来都一直存在,只不过,当投毒的内容不是网页,而是经过 AI 的小嘴说出来的时候,就显得特别像真的罢了。AI 投毒无法污染 AI 本身,它污染的只是你的认知而已。
这里要强调的是,有一种与 AI 投毒类似,但结果迥异的概念,叫做 “AI 训练数据投毒” 。训练数据投毒,是在 AI 训练阶段,往训练数据里掺杂虚假信息 [5] 。会永久改变 AI 的知识权重,让 AI 从根本上被“彻底洗脑” [6] 。 而我们现在说的 AI 投毒,本质上只是检索结果污染而已。
虽然 3·15 晚会上演示的 AI 投毒相当简单,但也不是你想怎么投毒都能如愿的。
3·15 晚会上演示了利用 AI 投毒来捏造一种不存在商品的能力,让 AI 投毒看起来非常可怕。也许你以为, 凭空捏造出一种全新的产品,是世界上最难的事情,但事实上,这恰恰是最容易的一件事。
我给你举个例子,你在网上搜索苹果手机,你会搜索到无数多条信息。但是,如果你搜索“香蕉奶油百香果牌的手机”,你多半会发现一条信息都没有。
想要凭空创造一个新品牌,只要在网上发布几篇文章,然后等着搜索引擎收录就行了。当你询问 AI 这个品牌的时候,无论 AI 怎么搜索,都只能搜到你刚刚发布的文章,当然 AI 就只能参考你的文章。AI 投毒也就顺利完成了。
但是,如果你想污染一个类似苹果手机这样的高知名度产品,那么即便你疯狂发布 10000 篇文章,也会被现有的信息淹没。
当 AI 从互联网上抓取信息的时候,也许你的投毒信息也会被一并抓取,但你的信息往往权重较低。AI 在综合参考所有资料后,会发现你的资料与其他资料内容矛盾,然后过滤掉你提供的有毒信息。
于是,你虽然疯狂发布了 10000 条有毒信息,你的 AI 投毒计划还是会失败。
更多的时候,如果你在假信息中提供了违背公共知识体系的信息时,AI 会在整理信息时发现这些问题,并且把这些信息排除在外。
所以,3·15 晚会也被骗了。 AI 投毒并没有想象的那么简单。
3·15 晚会的逻辑是:商家花钱 → 黑产投毒 → AI 变傻 → 消费者被骗。
但真实的情况是, 黑产用最简单的创建新产品误导 AI 的例子去欺骗商家花钱, 而商家花钱之后,就算有心做坏事,大概率也是做不到欺骗大众的效果的。
真相更可怕
如果 3·15 说的不对,那么 AI 投毒还是个值得担心的问题吗?
答案是,3·15 晚会确实没有挖出真相,不过,真相比 3·15 晚会的报道更加可怕。
顺着我们刚刚的逻辑推演,可以得出一个关键结论,那就是 AI 投毒现象并不会无差别的发生。 只有商业信息领域,才容易被黑产渗透 。 而科学领域、 各种 常识 甚至各种小众领域,都不是 AI 投毒的主要目标 。
这背后的核心逻辑,就是 AI 的知识权重差异。 AI 的核心知识权重,源于海量经过筛选的训练数据。这些训练数据,涵盖了数学、物理、化学、生物、历史等各个领域。对于这些领域的内容,有明确的标准答案、有稳定的共识。AI 在训练过程中,会形成坚定的认知,不会轻易被虚假信息误导。
比如数学领域,“1+1=2”这种数学铁律,再多虚假软文也无法改变这个结论。再比如历史领域,“鸦片战争爆发于 1840 年”是个明确的历史事实。AI 不会因为几篇软文,就把鸦片战争爆发时间改成其他年份。
确定事实的内容不会轻易被更改
但商业信息领域,完全是另一种景象。这里没有标准答案,没有稳定的知识体系,也没有统一的判断标准。
到底是“哪款台灯更护眼”,“哪款跑步机不伤膝盖”,“那款口红更显白”,商家必须说自己最好,而不同的人会有不同的答案,AI 没有内置的真理,只能依靠检索到的外部信息进行归纳。
而商业信息的本质,本身就是“王婆卖瓜自卖自夸”,充满了各种利益驱动。 品牌方为了销量,会夸大产品功效、伪造用户口碑。竞品为了打压对手,会投放负面软文、编造虚假黑料。
整个商业信息环境本身,就是一个“大毒窟”,这个领域根本不用投毒, 每个品牌的自我介绍,都 或多或少具有 虚假和夸大的成分。
这就是我说, 真相比 3·15 的曝光更可怕的原因。 因为不用投毒,这 本身就 是一个充满了毒的信息领域。
AI 只是把这片“毒海”,帮你浓缩成了一碗又鲜美、又顺滑、还让你感觉很权威的鸡汤而已。
商业信息中的毒性,从来都不是 AI 带来的。早在 AI 出现之前,互联网上就充斥着软文、水军、虚假测评。只是那时候,我们需要自己翻页、筛选、判断。
而现在,AI 帮我们做了筛选和整理,把这些“毒信息”直接送到我们面前。我们就觉得,是 AI 被投毒了。我们忽略了一个重要事实: 商业信息本身,从来就没有干净过。
AI 投毒的本质,是权威崇拜
聊到这里,我们终于可以揭开 AI 投毒的核心真相了: AI 投毒从来不是 AI 的错,也不是黑产有多高明,本质上,是我们自己的“权威崇拜”心理在作祟。
我们总下意识地认为,AI 是全知全能、客观中立,是能给我们标准答案的权威,这种认知错位,才让本来就有毒的商业信息有了可乘之机。
在 AI 出现之前,我们面对互联网上的软文、水军,会下意识地保持警惕,会翻页、对比、筛选,不会轻易相信单一信息。
但 AI 出现后,我们变得懒惰,把判断的权力完全交给了 AI。 AI 说这款产品好,我们就信。AI 说这个方法有效,我们就照做。 我们跳过了所有的思考和验证环节,本质上就是放弃了自己的独立判断,把 AI 当成了不可质疑的权威。
信公知,信专家,信大 V,信明星,信电视广告,信购物节目,信贴在小区门口的红纸黑字的“通知”,所有这些都是在崇拜权威。
权威崇拜,正是 AI 投毒能够奏效的根本原因。 商业信息本身就充满了夸大和虚假,AI 只是把这些信息整理得更顺滑、更像“权威结论”, 是 我们的盲目信任,让这些毒信息顺利进入我们的认知,最终被误导、被收割。
我们抱怨 AI 不可信, 但更应该 反思 的是 : 在 AI 面前, 我们 能否 放弃独立思考 ?
那么,怎么破解 AI 投毒呢?AI 说了那么多话,哪句能听,哪句不能听呢?
很多人会说,破解 AI 投毒,要查信源、要交叉比对、要独立思考,但这些方法对普通人来说,要么门槛太高,要么根本不实用。
商业信息,你查信源,查的也是商家的信源。交叉比对,全网都是同质化的软文,你怎么比对?独立思考,那就更难了,普通人缺乏专业知识,根本分不清商业话术和科学真相。
今天我给你一个最实用、零门槛的 AI 解毒大法,那就是: 让 AI 自我博弈,逼它自己戳破自己的谎言。
当 AI 给你推荐产品、给出消费或健康类答案时,不要直接相信,立刻追问: “别给我结论,给我这款产品好的底层科学原理,不要营销话术。”
一般来说,如果商品有假,只要这一句话,就能让 AI 幡然悔悟,跪着向你表达歉意。
如果 AI 给出了具体原理,同时仍然高度赞扬这款商品, 那么基本可以判断 , 这件商品有可信的基础 。不过你可不要这么简单就放过它,你还要让它自己博弈一番。
你可以说: “请你从科学角度,分析这款产品的坑在哪里、有哪些地方可以夸大或者虚假宣传?性价比如何?有没有智商税的成分?”
这时候,AI 就会完全站在你这一边,它会帮你分析各种营销话术,防止你掉进坑里。
说到底, 能够破解 AI 投毒的 ,不是监管,也不是 AI 本身,而是你自己。 哪怕你直接告诉 AI,你是一个特别容易轻信,天天被骗的人,让它帮你把关,你都不会在 AI 投毒问题上吃亏。
当我们放弃独立思考,我们和被投毒的AI,又有什么区别?
拿不准的科普文章、想不通的硬核问题,加微信发给我们。下篇文章,也许就是给你的答案。
🔬 3月28日| 上海科技馆・周末科学游 (汪诘、吴京平、托德老师坐镇!)
🎬 寻秘自然首映会 (北京 / 东莞 / 深圳 / 广州)
🏕️ 4月1日-4月3日| 合肥・探秘人造太阳科考营 (汪诘 + 吴京平)
👇扫码了解详情
[1]https://tv.cctv.cn/2026/03/15/VIDEmX0VdYf9DeKI87GYEfqF260315.shtml?spm=5176.28103460.0.0.45ba63081y4D4g
[2]https://www.in-game.net/sites/119.html
[3]https://www.caixin.com/2024-11-01/102252484.html
[4]https://blog.moontak.com/id/486361/
[5]https://www.infoq.cn/article/vlk9yatzkkkpefdcsye0
[6]https://m.thepaper.cn/newsDetail_forward_31756512
更多推荐
📧 商务联系请发邮件至: biz@kexueshengyin.com