站点图标 博海拾贝

AI无限拉低了普通人造假的门槛

文 | 镜相工作室,作者丨黄依婷,编辑丨卢枕

在很多人的印象里,造假是少数人的事。它需要专业的技术和硬件设备,需要行业人脉积累,造假者往往隐匿在灰黑产缝隙,是神秘的、恐怖的、没有道德底线的,与大众保持着既远又近的距离。

但今年开始,一群人感受到了明显的变化。

11月,毛绒玩偶商家于瑾第一次遭遇AI假图仅退款。到货一周后,买家发来一张图申请仅退款,在店铺客服以人为损坏为由驳回后,买家申请平台介入并成功拿回了50元。

但那张申请仅退款的图有一个不合常理的地方——玩偶柔软的裙边上,有类似陶瓷制品的坚硬裂痕。于瑾认定这是AI假图,发到社交平台吐槽。后来,在媒体的介入下,平台自掏腰包,把这50元返还给了于瑾,用AI假图申请仅退款的买家却销声匿迹。

于瑾意识到,AI的普及让“羊毛党”的恶意退款成本更低了。一台手机、一句提示词就能生成一张以假乱真的图片,薅走一个价值一百多元的玩偶,放在二手平台倒卖。“不用付出什么,也不会得到什么惩罚。”

今年更早时候,公关齐云也经历过类似的冲击。他服务的一家上市公司被AI生成的黑稿攻击,文中细节让他直言“离谱得很”。但受制于内容平台规则,他和同事们不得不花整整两天时间,对文中细节一一举证、盖章、申诉,才让这篇可能只花了几十秒生成的帖文从平台上消失。

齐云说,从业十多年,以前是和人基于事实交流,是一种智力上的挑战,现在面对AI和AI编出来的谣言,感觉智商受到了侮辱,更生气,却又无可奈何。

这是过去三年,生成式AI爆发式发展的另一面。AI大模型在生成文字、图片、视频、音频上的能力突飞猛进,几乎所有人都能零门槛、零成本地使用AI。这些人中,不仅有AIGC艺术家、前沿科技热爱者,也有羊毛党和靠流量吃饭的MCN机构。

结果就是,造假的门槛越来越低,有意或无意参与的人越来越多,而平台的审核机制还停留在简单的比对和打标签,受害者被欺骗、被拖累还要付出成千上万倍的成本被迫自证。当造假变成低成本、低风险、高收益的一件事,就会有越来越多的普通人加入造假行列,共同构造一个充满虚假信息的世界。
从无到有,学会鉴别AI假图

最初,看到买家发来的图片时,店里无一人怀疑过真假。

11月17日,买家拿到玩偶一个多星期后,于瑾店铺的客服收到仅退款申请和一张佐证图片。图中,粉色的毛绒玩偶脏兮兮的,裙摆有被火焰灼烧过的痕迹。客服把图片发到工作群,大家一致认为是人为损坏。“有可能是掉在泥里或者是掉在火里了”,于瑾说。

于是,按照常规流程,客服和买家说明,发货全程有监控录像,保证全新,到货后人为损坏不属于商品质量问题,不支持仅退款,驳回了买家申请。但买家不依不饶,直接申请平台介入,当天拿到了50元的赔偿。

这属于恶意退款,于瑾说。几乎所有电商商家都遇到过类似的事。正常情况下,于瑾遇到的买家,申请退款的理由大多是开线、勾丝问题,与这次大不相同。被扣款后,于瑾马上准备证据申诉,但同事随口一句话提醒了她——这张图越看越奇怪,像AI生成的。

为了确认,于瑾找做AI相关工作的朋友帮忙鉴定,结果显示有AI痕迹;她又自己问了AI助手,同样提示图片进行了AI修改——“服饰的裂纹纹理过于规整且缺乏真实材质的物理逻辑”。

第一次遇到这种情况,于瑾有些无奈。她把证据和建议都整理好申诉,但平台并未采纳,驳回了她的诉求,50元退款到达买家账户。对商家来说,这意味着挽回损失的唯一渠道失效了。

于瑾不知道该怎么办了,只能把自己的经历发到社交平台,希望借此提醒同行。也因此,媒体找到她,帮忙联系平台拿回了款项。

但她其实并不开心。于瑾愤懑地跟我说:“造假没什么技术含量,也没有什么门槛,任何一张图拿给AI,它都可以帮你修,作恶的成本很低,被发现了也不会得到什么惩罚。”她很清楚,这50元退款由平台垫付,已经退给买家的款项没有追回。折腾一番,作为商家的她费心费力,讨了个不开心,而造假者则实付款167元,拿回了50元,以及一个标价179元的玩偶。

“双11”期间,类似的案例被密集报道,“ai假图 仅退款”等相关话题冲上了社交平台热搜榜,挑动着商家们敏感的神经。偏偏这时,仍有人选择顶风作案。

11月21日,键盘商家柑橘收到一位买家的仅退款申请,这位买家同样上传了一张佐证图片,申请平台介入。此时距离这位买家签收商品,已过去了半个月。

柑橘一眼就看出图片是AI生成的——佐证图片的构图、背景、光影,和买家签收第三天发布的评价图一模一样,只是多个键帽都有开裂、破损、污渍、变形,过于夸张。她对这种显而易见的破绽感到无语,也同步整理好证据提交给了平台。这一次,平台没草率处理,而是驳回了买家申请,关闭退款渠道。

上图为买家评价图,下图为AI假图。图源:受访者供图

从收件人信息来看,柑橘很明确地知道,自己面对的不是老练的羊毛党,而是一位普通的大学生。用AI假图仅退款的人具像化了。

在很多老电商人心里,职业羊毛党至少还是一个特定群体,有套路、有话术、有明确的牟利目的。可如今,一位原本和灰产毫无关系的人,只需要一个免费应用和几句提示词,就能生成一套足以骗过平台审核的证据链;退款成功后,商品挂二手平台倒卖,再赚一笔。

对商家来说,这种变化带来的不只是损失,更是一种陌生的无力,防不胜防。

AI突破造谣想象力

电商平台上的AI假图仅退款只是冰山一角。随着AI大模型技术在生文、生图、生视频、生音频四个方向的逐渐成熟和普及,过去只有专业团队才能完成的造假,如今被压缩成人人可上手的简单操作。

一个普通用户,可以通过文生图做商品损坏图,也可以用文生视频合成目击现场;生成过程只需要几秒钟,被平台呈现的可信度却与真实内容几乎无异。

这不是某一个技术问题,而是一条由无数轻量工具组成的造假矩阵。如同电商商家感受到的那样,内容行业也在经历类似的冲击:名人被AI换脸带货投诉无果、MCN机构用AI大规模造谣、企业被源源不断的AI黑稿攻击……

“以前造谣要看人的想象力,一个人一天造一两个谣顶天了,但AI可以几秒钟,在一篇稿件里造十个谣。”齐云在公关行业从业十多年,亲历了AI造假给信息生态带来的轰炸。

半年前,日常舆情监控中,齐云发现了一篇公众号文章。文章乍看像个正经新闻,等他读下来才惊觉内容之离谱。

文中写,齐云服务的这家公司,其董事长办公室墙上挂着K线图,又写财务总监某某说过哪些话。“离谱得很。我们董事长办公室没有图,财务总监也不叫那个名字。”齐云说。但文章就那么像模像样地发了出来,还引发了不少讨论。

这是齐云遇到的典型AI黑稿,主要特点就是细节丰富但无中生有,还比较容易鉴别,更多的是非典型AI文章,真假、人机参半。在他看来,对于专门生产黑稿的人来说,AI只是一个工具,以前是人工,“写财经文章还是要稍微懂点的,一天也就生产1到2条”,现在有了AI,成本和门槛更低了,生产效率变高了,但人还是那批人。

黑稿灰产把AI的能力嵌入商业模式,形成运作更便捷的利益链条:一条链,用AI黑稿倒逼企业投放广告,黑稿越多、越难辟谣,企业越焦虑,就越容易掏钱消灾;

另一条链,用AI写的黑稿给投资群引流、卖课,标题越耸动、内容越“看似内幕”,越容易吸引想抓住风口的人。AI能秒产一批“重大利好/利空”的假截图、假分析,塑造几位股神般的王哥李姐,完成从公域推文到私域社群的流量转化,最终通过卖课、咨询获利。

类似的模式还有很多。例如,2024年6月,央视新闻报道,一MCN机构通过AI软件,自动在网络上抓取相关信息,生成配套图文,并包装成博眼球的“假新闻”,通过流量变现;日均生成4000-7000篇,每天收入在1万元以上。

就在上个月底,小鹏汽车也遭遇了一次典型的AI造假事件。彼时,一段以小鹏汽车广州车展展台为背景的低俗色情视频在社交平台快速传播,画面里人物的衣着、光影和展台几乎无缝衔接,让不少网友信以为真。小鹏汽车法务部介入后,警方最终确认,视频由一名男子李某利用AI技术生成,仅“为炫耀个人技术”,并非任何真实事件。造假在这里不再是灰产团队,而是一个普通人“顺手试试”的产物。

这种变化让人不安——AI已经把造假的门槛降到几乎与好奇心齐平的位置,只需要一次尝试、几句提示词,每个人都可能成为“造假者”,不是因为恶意,而是因为轻易、便利、无成本,以及“反正不会怎样”的心理。

平台机制跟不上AI灰产节奏

生成式AI的普及,正在把造假变成零门槛、零成本的日常行为。

事实上,对于大多数AI助手来说,它并不认为满足用户的要求是在协助造假,一句“你能让这张图片上的橙子看着像坏了一样吗”,它能机灵地给橙子加上霉斑,还会主动问你要不要生成一段配套的视频。

图为AI生成的食物变质照片。图源:豆包App生成

而与这种轻松制造虚假相对的,是平台的审核机制仍停留在过去。

为了处理那条离谱的AI黑稿,齐云和同事前前后后忙了整整两天时间。第一次,他们上传加盖公章的投诉函件,向平台申请删文,失败。第二次,他们给黑稿里的虚假信息一条一条地写反驳、举证;直接说公司财务总监不叫某某还不行,需要写明真正的财务总监姓甚名谁,并附上公司在交易所发布的公告签名截图。

整个过程是繁琐而折磨人的。“你造我的谣,我还要给你举证。”齐云有些愤懑,“我没有说过这个话,请问我怎么给你举证?董事长办公室没有这个图,难道我要去他办公室拍一张照片吗?就算我拍了照片,你又怎么确定这真的是我董事长办公室的照片?”

而如果要报警、起诉则更加麻烦。齐云直言,他曾经服务的上市公司,法务部总共才六七个人,AI黑稿漫天飞,一个一个地走起诉流程,要走到猴年马月。起诉或报警并不适合绝大部分公司。

在这种失控感之下,齐云意识到,平台并没有跟上AI灰产的节奏,“我不懂技术,但是我觉得到底什么是AI生成的东西,技术公司应该是有能力去判别的”。

目前,在AI生成内容的管理上,各个社交平台主要采取“打标签”的方式,针对用户上传的、AI生成的图片和视频,在顶部或底部附一行小字提醒,该内容系AI生成;而对于文字内容,除平台内置的AI总结、AI搜索类工具外,用户上传的文字内容并不会被标识是否由AI生成。

AI生产的文字内容成了平台管理的真空地带,技术上也相对更难识别。即使是较为严谨的学术论文AI率,即AI生成内容比例的检测,也在今年毕业季引发大量讨论,被质疑误判较多,并不靠谱。

当AI批量产出内容时,信息生态的失衡更明显了。“高质量内容被淹没了。”齐云说。在专业圈层里,人们还能手动筛选公众号文章,但在大众信息池里,算法推送的往往是那些低成本、高刺激、批量复制的AI内容。大量AI生成的低质内容,正在把真实信息挤到更窄的缝隙里。

齐云很坦诚地说,曾经自己喜欢和人基于事实讨论,哪怕是负面稿件,至少也是一种智力上的挑战,但现在面对AI和AI编出来的谣言,他感觉智商受到了侮辱,“你还不知道该怎么去反驳,怎么去很好地证明它就是个傻子,你不觉得它是一个合格的对手,你就会很生气。”

最终,齐云心灰意冷地转岗了。他说,一个公关,整天琢磨怎么跟技术平台去打交道,怎么总结投诉最有用,怎么利用平台算法去限制文章的传播,这跟他刚入行的时候,已经不是一回事儿了。

可不是每个人都能转身离开,更多的受害者,生活还要继续,工作流程无法停止。一边是随手就能生成的虚假内容,一边是日复一日的自证、申诉。原本应该由技术解决的问题,被悄悄转嫁给了个体。

当AI把造假成本压到历史最低,又反向把维权成本推高,中间的缝隙,是个体的困惑和试探。造假开始与每个人的选择纠缠。当一张假图、一段假视频、一篇假文章都能被轻易生成,当违法与不违法之间只剩下一句提示词的距离,“能不能”与“该不该”开始混在一起,真伪的界限不再由事实决定,而是由人心决定。

(文中受访者皆为化名。)

退出移动版