上海外灘法拉利跑車失控？AI沒編完整，假消息就被發布了

（來源：上觀新聞）

「10月15日凌晨，上海外灘，一輛價值300萬的法拉利跑車失控撞上護欄……」近日，有讀者向上海闢謠平臺提供了一條闢謠線索：在某資訊平臺上，一條提綱都留着、AI還沒編完整的假消息，已經公開發布。事實上，當天並沒有這起車禍。

資訊平臺上，為AI寫的提綱都沒有刪除，AI生成的假消息已經發布了（截屏）

無獨有偶，某社交平臺上一條「在上海，記住浦東這棟樓，根本走不出來」的視頻也被網友投訴——視頻里的樓宇採用熱門IP拉布布（Labubu）的造型，發佈者煞有其事地介紹該樓宇所在地、交通方式等。可Labubu造型大樓屬於AI生成的「一眼假」。有網友責問發佈者：「假成這樣良心不痛？」原來，發佈者的目的是用AI製作的視頻推銷某家與圖片完全無關的商鋪。

有賬號用AI生成假視頻，為相關店鋪引流（截屏）

一段時間以來，AI造假屢禁不止。雖然眾多平臺都要求發佈者聲明「含有AI生成」，但從結果看，仍有不少AI假消息試圖博取眼球。

面對質量參差的AIGC（人工智能生成內容），應該該怎麼辦？

「用魔法打敗魔法」

在業界，「用魔法（AI）打敗魔法（AIGC）」的呼聲越來越高。

上海闢謠平臺調查發現，國內已經有不少企業致力於AIGC鑑別。不同企業的研究方向略有差異，形成了視頻鑑別、圖像鑑別、文本鑑別等差異化賽道，其中有部分成果已經落地應用。在實踐中，用AI識別AI的準確度和效率都不低。

上海企業合合信息自研的TextIn通用篡改檢測平臺被銀行、保險、證券、零售、汽車等多個行業採納，可以用來檢測財務憑證、商場機打小票、身份證、護照、行駛證、駕駛證、港澳臺證件等數十種常用卡證的篡改檢測。在正常情況下，誤檢率不到千分之一。而且，針對企業及機構檢測文檔數量龐大、人工審覈效率低的痛點問題，TextIn通用篡改檢測平臺對單個樣本能實現「毫秒級檢測」，效率極高。

合合信息TextIn通用篡改檢測平臺精準識別商場小票篡改痕跡（採訪對象提供）

相關團隊負責人解釋，之所以能取得這樣的結果，是因為AI生成或篡改的圖像或視頻存在肉眼無法辨別、但技術能一眼發現的瑕疵，包括像素差異、光線不合理、違揹物理常識，等等。通過有的放矢地訓練對應的鑑別大模型，能有效提高鑑鑑別率。

騰訊朱雀實驗室團隊的技術人員則向記者提供了4張圖片、2份文稿，請記者判斷哪些是人拍的或人寫的，哪些是AI生成的。不論從圖片細節或行文風格、結構邏輯看，都很難分辨。但使用相關大模型檢測，「人拍的」「人寫的」和「AI生成的」一秒就能出結果。再用大模型測試網絡上AI生成的假新聞、假廣告，結果堪稱百發百中。

朱雀實驗室提供的測試圖片，4張照片中，只有圖3是真的（採訪對象提供）

兩篇文稿中，左邊是「人寫的」，右邊是「AI生成的」（採訪對象提供）

技術人員以文稿為例解釋，這是因為「AIGC文本內容在宏觀上流暢自然，但還是存在一些微觀特徵與人類寫作不同。例如，生成模型在預測下一個詞時，有其內在的概率分佈偏好，更傾向於選擇最安全、最高頻的詞匯組合，而人類寫作可能會使用一些不常見但地道的表達。又比如，人類創作通常表現出更多的爆發性，即偶爾會使用一些意想不到的詞匯，而AIGC文本內容缺少這種突變性。總的來説，可以藉助AI來捕捉人類數據與AI生成內容的特徵差異，鑑別AIGC文本內容。」

給AIGC鑑別更多關注度

「在很多專業展會上，大部分企業展示的都是AIGC的內容多麼真、生成效率多麼高，公眾關注的重點也是‘AIGC多厲害’。在這樣的背景下談AIGC鑑別，似乎有些不合時宜。但從實際情況看，有必要給AIGC鑑別技術更多的關注度。」某不願具名的業內人士表示，「AIGC雖然降低了內容創作的門檻，卻也導互聯網上低質量甚至誤導性的內容快速增長，更有不法分子利用AIGC坑蒙拐騙。所以，要鼓勵更多的企業投身於AIGC鑑別技術開發，也引導平臺應用相關成果，從源頭減少造假行為。」

防止濫用AIGC並鼓勵AIGC鑑別技術發展，需要整個生態一起努力。

一方面，對於AIGC的開發者來説，在訓練模型時，要給模型加上堅固的安全護欄，保障模型輸出內容安全可信。同時，在模型生成內容時，可以給生成內容加上看不見的「身份證」，方便后續進行生成內容溯源。

相關人士指出，AIGC鑑別屬於「被動防禦」，而這類「身份證」相當於「主動防禦」策略。例如，目前已經有一種「半脆弱性數字水印」，就是在不破壞原有圖像、視頻內容的基礎上，在人臉等重要表徵上嵌入隱藏的、肉眼不可見的水印信息。圖像或視頻一旦被編輯修改，水印就會被破壞。使用數字水印檢測器能很容易發現圖像或視頻是否進行過編輯，以及在哪里進行了編輯。

另一方面，社交媒體、視頻網站、資訊平臺等信息發佈平臺應當做好「守門人」，部署模型工具對平臺上傳播的內容進行檢測識別，做好標籤化處理。

比如，明確規範信息發佈者按照「包含AI生成內容」「全部由AI生成」等給相關內容打上標籤。同時，建立快速響應機制對明確利用AIGC進行欺詐、造謠等內容進行快速下架處置等。

此外，普通人可以嘗試一些面向公眾的AIGC鑑別工具來判斷互聯網上真假難辨的消息。朱雀實驗室團隊給出建議：在無法從文本或圖片的表現形式識別真偽時，可以用AI檢測工具對內容進行初篩。然后，根據檢測工具識別出的AI生成內容進行重點篩查。期間，可以用AI等新技術快速在權威媒體、官方通報、學術數據庫等可信信源中進行交叉檢索，驗證內容的可信度。最終，綜合以上結果來判斷信息真偽。

總之，整個行業要不斷建設完善AIGC治理的標準和法規。最終目標不是禁止AIGC，而是為這項新技術裝上「安全閥」，讓它更好地創造價值。

原標題：《上海外灘法拉利跑車失控？AI沒編完整，假消息就被發布了》

題圖來源：上觀題圖

來源：作者：解放日報 任翀