AI劣质内容正在重塑社交媒体,且正遭遇反噬

A treated image of a cat - one half is real, and the other is AI-generated
    • Author, 乔・泰迪(Joe Tidy)
    • Role, BBC网络安全事务记者

泰奥多(Théodore)记得那张把他逼到濒临崩溃的人工智能(AI)劣质图片。

那是一张两名瘦骨嶙峋、极度贫困的南亚儿童的影像。奇怪的是,尽管看得出仍是男孩年纪,他们却留着浓密的胡须。其中一人没有双手且只有一只脚;另一人手里拿着一个牌子,写着今天是他的生日并请求按赞。

他们莫名其妙地坐在大雨滂沱、车流繁忙的马路正中央,面前还摆着一个生日蛋糕。整张图充满由AI生成的各种“破绽”;但在脸书(Facebook)上它却爆红了,拿到将近100万个赞与爱心表情。

泰奥多有些崩溃。

“这让我大开眼界。那些荒谬的AI生成影像铺天盖地地出现在脸书上,毫无审查却获得巨大关注,在我看来实在不可思议。”这位来自巴黎的20岁学生说。

泰奥多在X上开设了名为“Insane AI Slop”(变态的AI垃圾)的帐号,开始点名并讽刺那些正在欺骗大众的内容。其他人注意到了,他的收件匣很快就被各种热门“AI 劣质内容”的投稿淹没。

左:泰奥多
右:一张由 AI 生成的图片,内容为两名儿童坐在马路中央,面前放着一个生日蛋糕
图像加注文字,泰奥多(左)在网路上发起行动,嘲讽社群媒体上的 AI“劣质内容”,其中包含一张获得近100万个赞的假图片(右)。

常见题材逐渐浮现——宗教、军事,或让人感到窝心的贫困儿童。

“第三世界孩子做出惊人事情,向来很受欢迎——比如非洲某个贫困孩子用垃圾做出超厉害的雕像。我想人们觉得这很暖心,所以创作者就想:‘太好了,继续编吧。’”泰奥多说。

泰奥多的帐号很快就累积超过13.3万名追踪者。

AI劣质内容的冲击——他定义为“快速制作、虚假且不可信的影片与图片”——如今已势不可挡。大型科技公司拥抱AI;其中一些公司声称开始打击某些形式的AI“垃圾”,但许多社交平台的资讯流似乎仍被这类内容充斥。

短短几年内,使用社群媒体的体验已发生深刻改变。它是怎么发生的?又会对社会造成什么影响?更迫切的是,数十亿社群使用者究竟在不在意?

社交媒体的“第三阶段”

去年10月,在另一场欢欣鼓舞的财报电话会上,Meta首席执行官马克・扎克伯格(Mark Zuckerberg)开心地宣称,社交媒体已进入第三阶段——如今的中心就是AI。

“第一阶段是所有内容来自朋友、家人与你直接追踪的帐号。第二阶段是我们纳入了创作者内容。现在,随着AI让创作与混搭更容易,我们将再加入一大批内容库。”他这样对股东表示。

营运Facebook、Instagram和Threads的Meta不仅允许人们发布AI生成内容,还推出更多能促成此类创作的产品。横跨全平台的影像与影片生成器,以及愈发强大的滤镜正不断上线。

在被要求回应时,Meta指向1月的财报电话会议。会中,这位亿万富豪表示公司将更深度押注AI,并未提到任何针对劣质内容的取缔行动。

扎克伯格说:“很快我们将看到大量新的媒体形式爆发,这些更沉浸、更互动的形式只有因为AI的发展才成为可能。”

YouTube首席执行官尼尔・莫汉(Neal Mohan)在2026年的展望贴文中写道,仅在12月,就有超过100万个YouTube频道使用平台的AI工具制作内容。

“正如合成器、Photoshop与CGI革新了声音和视觉,AI将造福那些准备拥抱它的创作者。”他写道。

他也承认,对“低品质内容,即AI劣质内容”的担忧正在升高。他表示团队正改进系统,以找出并移除“低品质、重复性内容”。

扎克伯格在演讲

图像来源,Reuters

图像加注文字,Meta的首席执行官扎克伯格向投资者表示,AI让创作与混搭更容易。

但他也排除由平台判断哪些内容该被压抑或扶植,指出曾经小众的ASMR(让头皮发麻的舒缓声响)与游戏直播,如今都已进入主流。

依据AI公司Kapwing的研究,刚注册的YouTube帐号内容已有20%是“低质AI影片”。研究也发现短视频是热点:在新帐号里最先出现的500个YouTube Shorts中,有104个属此类。

创作者经济似乎是强力驱动因素,因为作者与频道能从互动与观看中赚钱。从某些AI频道与影片的观看量来看,人们确实被这类内容吸引——或者说,决定我们看见什么的算法被它吸引。Kapwing指出,观看数最高的AI劣质频道是印度的“Bandar Apna Dost”,累积20.7亿次观看,估算年收入400万美元(约 290 万英镑)。

不过,反弹也开始出现。在许多爆红的AI影片底下,常可见一连串怒气冲冲的留言,猛烈抨击该内容。

巨型怪兽与致命寄生虫

来自巴黎的学生泰奥多推动了这波反弹。

他运用在X上的新影响力,向YouTube版主投诉那一波古怪的AI卡通:它们获得巨量观看,在他看来令人不安、有害,而且在某些情况下似乎锁定儿童。

这些影片标题像是“猫妈妈拯救小猫远离致命腹部寄生虫”,内容血腥骇人;另一段短片则演出一名穿睡衣女子吞下寄生虫后化身巨大暴怒怪兽,最后由耶稣治愈。

一张由AI生成的卡通图:一只猫躺在医院病床上;另一只猫站在床边,惊恐地望着牠

图像来源,'Sprung Nexus' YouTube account

图像加注文字,泰奥多认为他在YouTube上看到的一些AI卡通令人不安。YouTube表示,他所���举的影片因违反其社群准则而被移除。

YouTube最终关闭了这些频道。

公司告诉我们,影片因违反社群规范而被移除;他们强调“不论内容如何制作,都在专注于连结使用者和高品质内容”,并致力于“减少低品质AI内容的扩散”。

不过,这些经验加总起来让泰奥多心力交瘁。

一张由 AI 生成的图片:一名巨大且肌肉发达的角色身穿粉红色洋装;一个看起来像耶稣的身影正触碰其腹部

图像来源,social media

图像加注文字,泰奥多表示,社交媒体上的某些AI劣质内容怪异到令人难以理解。

就连看似温馨的生活风格平台Pinterest(食谱与室内设计灵感的论坛)也未能幸免。用户对AI劣质内容的洪流感到相当挫折,促使公司推出全新“AI 内容退订”机制。

但前提是用户得承认他们那些完美居家影像是AI生成的。

评论区的怒火

在我的个人资讯流上(我明白每个人的资讯流——包括留言氛围——都不一样),对 AI 劣质内容的反弹已变得持续。

无论是在TikTok、Threads、Instagram或X,都似乎有一股“民众力量”在对抗这类内容。

有时这些反弹留言的按赞数远超过原帖。例如最近一段“单板滑雪者从熊手中救下一只狼”的影片,本体拿到932个赞;但有条留言“如果你受够这些AI鬼东西就举手”却拿到2400个赞。

当然,所有这些互动,最后都喂养了平台。

对社交平台而言,让我们持续滑动最重要,任何互动都是好互动。

那么,出现在你动态上的那些惊人、温馨或震撼的影片是真是假,究竟重要吗?

“脑腐”效应

美国雪城大学(Syracuse University)研究政治、错误资讯与认知偏差的副教授艾蜜莉・索森(Emily Thorson)表示,这取决于人们在平台上的使用目的。

“如果有人上短影音平台是纯娱乐,那么评断标准就只是‘有不有趣?’”她说,“但如果目的是学习某个主题或与社群成员连结,那他们可能会认为AI生成内容更有问题。”

人们对AI劣质内容的感受也取决于其传达方式。

如果明确以玩笑形式呈现,通常就会被当作玩笑;但若其目的是欺骗,往往会招致怒火。

我最近看到一段标志性的AI生成影片:逼真到难以置信、自然史纪录片风格的惊人花豹狩猎。留言区里,有人被骗了,也有人拿不准。

“它出自哪部纪录片?”有留言问,“拜托——这是证明不是AI的唯一方法。”

一张发布于Facebook的AI生成图片,内容呈现一场虚构的猎豹狩猎;底下有留言写着“纯 AI”

图像来源,social media

图像加注文字,随着越来越多人反击AI“劣质内容”,许多影片与照片底下的留言如今都会指出某项内容是否为AI生成。

意大利帕多瓦大学研究社群媒体行为与同温层的亚历山德罗・加莱亚齐(Alessandro Galeazzi)指出,验证一段影片是否为AI生成需要心力;长期而言,他担心人们干脆不再查证。

“我的感觉是用AI生成的无聊、低质内容泛滥,可能进一步缩短人们的注意力时长。”他说。

他区分了“意图欺骗”的内容与“更偏喜剧、明显虚构”的AI劣质内容——例如穿鞋的鱼、在健身房举重的大猩猩。

但即使是后者,也可能造成伤害。他提到所谓“脑腐”(brain rot)的风险——我们长期暴露于社交媒体,正在损害智力。

“我会说,AI劣质内容加剧了脑腐效应,让人们快速消费那些他们知道不太可能是真的、也大概毫无意义或毫无趣味的内容。”他说。

审查团队的裁减

除了“垃圾”内容,某些AI生成内容可能带来更严重的影响。

伊隆・马斯克(Elon Musk)的公司xAI与其社交平台X近期被迫修改规范,因为聊天机器人Grok被用于在X上对女性和儿童进行“数位脱衣”。

在美国对委内瑞拉发动攻击之后,网上流传着人们在街头哭泣并感谢美国的虚假影片。这类内容会塑造舆论,使人以为这场突袭比现实更加受欢迎。

分析人士说,这尤其令人忧心,因为许多人把社群媒体当成唯一的新闻来源。

OpenOrigins的首席执行官曼尼・艾哈迈德(Manny Ahmed)博士表示,我们需要一种新机制,让发布“真实内容”的创作者能够证明他们的影片与照片确实为真。

“我们已经来到仅凭肉眼无法自信辨别真伪的地步,”他说,“在试着侦测虚假内容之外,我们需要一套能让真实内容公开证明其来源的基础设施。”

你或许会觉得这该由社交平台承担。但包括Meta和X在内的许多公司已经缩减了审查团队,并采取更“集体式”的作法——倾向依赖用户自行标记假或误导内容。

没有“垃圾”的社交媒体?

如果现有科技巨头大致上乐见“垃圾”持续流动,那么,是否可能出现一个全新的社交平台,主打“无劣质内容”,并最终挑战既有玩家?

看来不太可能,因为AI侦测越来越难。机器已无法准确判断一段影像或影片是否明确为假;更别说让机器对“是否算劣质”做出高度主观的判定。

然而,若真有新平台崛起,而人们用脚(更精准地说,以眼球和手指)投票,它也许能撼动现况。这让人联想到在疫情期间崛起的社群挑战者BeReal——一款法国手机应用,鼓励使用者在随机时刻以“未加滤镜”自拍,展现真实自我。

BeReal尚未达到Facebook与Snapchat的高度,也可能永远不会;但它确实让其他平台坐下来思考,某些情况下甚至直接复制。

也许,若有一个“反AI劣质内容”的挑战者采取行动,同样的情景还会重演。

至于泰奥多,他觉得这场战斗已告失败,AI劣质内容将长存。

尽管他如今拥有的13万名粉丝仍不断寄送素材到他的信箱,他已不再频繁发文,并在很大程度上接受线上生活的新常态。

“和我的许多粉丝不同,我并不是教条式地反对AI,”他说,“我反对的是为了快速娱乐和浏览量而制作、污染网路的AI劣质内容。”

首张图片来自BBC以及Adobe Firefly生成的AI图像