AI劣質內容正在重塑社交媒體,且正遭遇反噬

A treated image of a cat - one half is real, and the other is AI-generated
    • Author, 喬・泰迪(Joe Tidy)
    • Role, BBC網絡安全事務記者

泰奧多(Théodore)記得那張把他逼到瀕臨崩潰的人工智能(AI)劣質圖片。

那是一張兩名瘦骨嶙峋、極度貧困的南亞兒童的影像。奇怪的是,儘管看得出仍是男孩年紀,他們卻留著濃密的鬍鬚。其中一人沒有雙手且只有一隻腳;另一人手裡拿著一個牌子,寫著今天是他的生日並請求按讚。

他們莫名其妙地坐在大雨滂沱、車流繁忙的馬路正中央,面前還擺著一個生日蛋糕。整張圖充滿由AI生成的各種「破綻」;但在臉書(Facebook)上它卻爆紅了,拿到將近100萬個讚與愛心表情。

泰奧多有些崩潰。

「這讓我大開眼界。那些荒謬的AI生成影像鋪天蓋地地出現在臉書上,毫無審查卻獲得巨大關注,在我看來實在不可思議。」這位來自巴黎的20歲學生說。

泰奧多在X上開設了名為「Insane AI Slop」(變態的AI垃圾)的帳號,開始點名並諷刺那些正在欺騙大眾的內容。其他人注意到了,他的收件匣很快就被各種熱門「AI 劣質內容」的投稿淹沒。

左:泰奧多
右:一張由 AI 生成的圖片,內容為兩名兒童坐在馬路中央,面前放著一個生日蛋糕
圖像加註文字,泰奧多(左)在網路上發起行動,嘲諷社群媒體上的 AI「劣質內容」,其中包含一張獲得近100萬個讚的假圖片(右)。

常見題材逐漸浮現——宗教、軍事,或讓人感到窩心的貧困兒童。

「第三世界孩子做出驚人事情,向來很受歡迎——比如非洲某個貧困孩子用垃圾做出超厲害的雕像。我想人們覺得這很暖心,所以創作者就想:『太好了,繼續編吧。』」泰奧多說。

泰奧多的帳號很快就累積超過13.3萬名追蹤者。

AI劣質內容的衝擊——他定義為「快速製作、虛假且不可信的影片與圖片」——如今已勢不可擋。大型科技公司擁抱AI;其中一些公司聲稱開始打擊某些形式的AI「垃圾」,但許多社交平台的資訊流似乎仍被這類內容充斥。

短短幾年內,使用社群媒體的體驗已發生深刻改變。它是怎麼發生的?又會對社會造成什麼影響?更迫切的是,數十億社群使用者究竟在不在意?

社交媒體的「第三階段」

去年10月,在另一場歡欣鼓舞的財報電話會上,Meta首席執行官馬克・扎克伯格(Mark Zuckerberg)開心地宣稱,社交媒體已進入第三階段——如今的中心就是AI。

「第一階段是所有內容來自朋友、家人與你直接追蹤的帳號。第二階段是我們納入了創作者內容。現在,隨著AI讓創作與混搭更容易,我們將再加入一大批內容庫。」他這樣對股東表示。

營運Facebook、Instagram和Threads的Meta不僅允許人們發布AI生成內容,還推出更多能促成此類創作的產品。橫跨全平台的影像與影片生成器,以及愈發強大的濾鏡正不斷上線。

在被要求回應時,Meta指向1月的財報電話會議。會中,這位億萬富豪表示公司將更深度押注AI,並未提到任何針對劣質內容的取締行動。

扎克伯格說:「很快我們將看到大量新的媒體形式爆發,這些更沉浸、更互動的形式只有因為AI的發展才成為可能。」

YouTube首席執行官尼爾・莫漢(Neal Mohan)在2026年的展望貼文中寫道,僅在12月,就有超過100萬個YouTube頻道使用平台的AI工具製作內容。

「正如合成器、Photoshop與CGI革新了聲音和視覺,AI將造福那些準備擁抱它的創作者。」他寫道。

他也承認,對「低品質內容,即AI劣質內容」的擔憂正在升高。他表示團隊正改進系統,以找出並移除「低品質、重複性內容」。

扎克伯格在演講

圖像來源,Reuters

圖像加註文字,Meta的首席執行官扎克伯格向投資者表示,AI讓創作與混搭更容易。

但他也排除由平台判斷哪些內容該被壓抑或扶植,指出曾經小眾的ASMR(讓頭皮發麻的舒緩聲響)與遊戲直播,如今都已進入主流。

依據AI公司Kapwing的研究,剛註冊的YouTube帳號內容已有20%是「低質AI影片」。研究也發現短視頻是熱點:在新帳號裡最先出現的500個YouTube Shorts中,有104個屬此類。

創作者經濟似乎是強力驅動因素,因為作者與頻道能從互動與觀看中賺錢。從某些AI頻道與影片的觀看量來看,人們確實被這類內容吸引——或者說,決定我們看見什麼的算法被它吸引。Kapwing指出,觀看數最高的AI劣質頻道是印度的「Bandar Apna Dost」,累積20.7億次觀看,估算年收入400萬美元(約 290 萬英鎊)。

不過,反彈也開始出現。在許多爆紅的AI影片底下,常可見一連串怒氣沖沖的留言,猛烈抨擊該內容。

巨型怪獸與致命寄生蟲

來自巴黎的學生泰奧多推動了這波反彈。

他運用在X上的新影響力,向YouTube版主投訴那一波古怪的AI卡通:它們獲得巨量觀看,在他看來令人不安、有害,而且在某些情況下似乎鎖定兒童。

這些影片標題像是「貓媽媽拯救小貓遠離致命腹部寄生蟲」,內容血腥駭人;另一段短片則演出一名穿睡衣女子吞下寄生蟲後化身巨大暴怒怪獸,最後由耶穌治癒。

一張由AI生成的卡通圖:一隻貓躺在醫院病床上;另一隻貓站在床邊,驚恐地望著牠

圖像來源,'Sprung Nexus' YouTube account

圖像加註文字,泰奧多認為他在YouTube上看到的一些AI卡通令人不安。YouTube表示,他所檢舉的影片因違反其社群準則而被移除。

YouTube最終關閉了這些頻道。

公司告訴我們,影片因違反社群規範而被移除;他們強調「不論內容如何製作,都在專注於連結使用者和高品質內容」,並致力於「減少低品質AI內容的擴散」。

不過,這些經驗加總起來讓泰奧多心力交瘁。

一張由 AI 生成的圖片:一名巨大且肌肉發達的角色身穿粉紅色洋裝;一個看起來像耶穌的身影正觸碰其腹部

圖像來源,social media

圖像加註文字,泰奧多表示,社交媒體上的某些AI劣質內容怪異到令人難以理解。

就連看似溫馨的生活風格平台Pinterest(食譜與室內設計靈感的論壇)也未能倖免。用戶對AI劣質內容的洪流感到相當挫折,促使公司推出全新「AI 內容退訂」機制。

但前提是用戶得承認他們那些完美居家影像是AI生成的。

評論區的怒火

在我的個人資訊流上(我明白每個人的資訊流——包括留言氛圍——都不一樣),對 AI 劣質內容的反彈已變得持續。

無論是在TikTok、Threads、Instagram或X,都似乎有一股「民眾力量」在對抗這類內容。

有時這些反彈留言的按讚數遠超過原帖。例如最近一段「單板滑雪者從熊手中救下一隻狼」的影片,本體拿到932個讚;但有條留言「如果你受夠這些AI鬼東西就舉手」卻拿到2400個讚。

當然,所有這些互動,最後都餵養了平台。

對社交平台而言,讓我們持續滑動最重要,任何互動都是好互動。

那麼,出現在你動態上的那些驚人、溫馨或震撼的影片是真是假,究竟重要嗎?

「腦腐」效應

美國雪城大學(Syracuse University)研究政治、錯誤資訊與認知偏差的副教授艾蜜莉・索森(Emily Thorson)表示,這取決於人們在平台上的使用目的。

「如果有人上短影音平台是純娛樂,那麼評斷標準就只是『有不有趣?』」她說,「但如果目的是學習某個主題或與社群成員連結,那他們可能會認為AI生成內容更有問題。」

人們對AI劣質內容的感受也取決於其傳達方式。

如果明確以玩笑形式呈現,通常就會被當作玩笑;但若其目的是欺騙,往往會招致怒火。

我最近看到一段標誌性的AI生成影片:逼真到難以置信、自然史紀錄片風格的驚人花豹狩獵。留言區裡,有人被騙了,也有人拿不準。

「它出自哪部紀錄片?」有留言問,「拜託——這是證明不是AI的唯一方法。」

一張發布於Facebook的AI生成圖片,內容呈現一場虛構的獵豹狩獵;底下有留言寫著「純 AI」

圖像來源,social media

圖像加註文字,隨著越來越多人反擊AI「劣質內容」,許多影片與照片底下的留言如今都會指出某項內容是否為AI生成。

意大利帕多瓦大學研究社群媒體行為與同溫層的亞歷山德羅・加萊亞齊(Alessandro Galeazzi)指出,驗證一段影片是否為AI生成需要心力;長期而言,他擔心人們乾脆不再查證。

「我的感覺是用AI生成的無聊、低質內容氾濫,可能進一步縮短人們的注意力時長。」他說。

他區分了「意圖欺騙」的內容與「更偏喜劇、明顯虛構」的AI劣質內容——例如穿鞋的魚、在健身房舉重的大猩猩。

但即使是後者,也可能造成傷害。他提到所謂「腦腐」(brain rot)的風險——我們長期暴露於社交媒體,正在損害智力。

「我會說,AI劣質內容加劇了腦腐效應,讓人們快速消費那些他們知道不太可能是真的、也大概毫無意義或毫無趣味的內容。」他說。

審查團隊的裁減

除了「垃圾」內容,某些AI生成內容可能帶來更嚴重的影響。

伊隆・馬斯克(Elon Musk)的公司xAI與其社交平台X近期被迫修改規範,因為聊天機器人Grok被用於在X上對女性和兒童進行「數位脫衣」。

在美國對委內瑞拉發動攻擊之後,網上流傳著人們在街頭哭泣並感謝美國的虛假影片。這類內容會塑造輿論,使人以為這場突襲比現實更加受歡迎。

分析人士說,這尤其令人憂心,因為許多人把社群媒體當成唯一的新聞來源。

OpenOrigins的首席執行官曼尼・艾哈邁德(Manny Ahmed)博士表示,我們需要一種新機制,讓發布「真實內容」的創作者能夠證明他們的影片與照片確實為真。

「我們已經來到僅憑肉眼無法自信辨別真偽的地步,」他說,「在試著偵測虛假內容之外,我們需要一套能讓真實內容公開證明其來源的基礎設施。」

你或許會覺得這該由社交平台承擔。但包括Meta和X在內的許多公司已經縮減了審查團隊,並採取更「集體式」的作法——傾向依賴用戶自行標記假或誤導內容。

沒有「垃圾」的社交媒體?

如果現有科技巨頭大致上樂見「垃圾」持續流動,那麼,是否可能出現一個全新的社交平台,主打「無劣質內容」,並最終挑戰既有玩家?

看來不太可能,因為AI偵測越來越難。機器已無法準確判斷一段影像或影片是否明確為假;更別說讓機器對「是否算劣質」做出高度主觀的判定。

然而,若真有新平台崛起,而人們用腳(更精準地說,以眼球和手指)投票,它也許能撼動現況。這讓人聯想到在疫情期間崛起的社群挑戰者BeReal——一款法國手機應用,鼓勵使用者在隨機時刻以「未加濾鏡」自拍,展現真實自我。

BeReal尚未達到Facebook與Snapchat的高度,也可能永遠不會;但它確實讓其他平台坐下來思考,某些情況下甚至直接複製。

也許,若有一個「反AI劣質內容」的挑戰者採取行動,同樣的情景還會重演。

至於泰奧多,他覺得這場戰鬥已告失敗,AI劣質內容將長存。

儘管他如今擁有的13萬名粉絲仍不斷寄送素材到他的信箱,他已不再頻繁發文,並在很大程度上接受線上生活的新常態。

「和我的許多粉絲不同,我並不是教條式地反對AI,」他說,「我反對的是為了快速娛樂和瀏覽量而製作、污染網路的AI劣質內容。」

首張圖片來自BBC以及Adobe Firefly生成的AI圖像