記者編輯會被AI取代？ 沒有「全能選手」，「幻覺」問題難解

2024年11月14日，「2024智媒體50人成都會議暨每經20周年財經媒體峰會」在成都舉行。會上，《每日經濟新聞大模型年度評測報告》正式發佈。

6月25日，《每日經濟新聞大模型評測報告》第一期發佈，對15款市面主流大模型在「財經新聞標題創作」「微博新聞寫作」「文章差錯校對」「財務數據計算與分析」四個新聞採編應用場景的能力進行了評測。

9月6日，《每日經濟新聞大模型評測報告》第二期發佈，重點考察大模型在「金融數學計算」「商務文本翻譯」「財經新聞閲讀」三個新聞採編應用場景的能力。

與前兩期評測一樣，《每日經濟新聞大模型年度評測報告》繼續以大模型在新聞採編場景的應用能力為評測目標，爲了更精準對接採編人員的實際需求，本次評測以「採寫編審和短視頻創作的新聞生產全流程」為場景，包括大模型設計採訪提綱、撰寫新聞稿件、校對稿件差錯、提煉稿件標題和改寫短視頻文本五個細分場景。通過大模型在新聞生產全流程的介入，評測出「誰是新聞生產全流程的最優秀大模型」，用直觀的評測結果，對採編人員在工作中選用適合的大模型工具提供實戰參考。

12款國內大模型參與評測 各家模型展現出不同優勢

本次評測設置的五個細分應用場景具體為：1.設計採訪提綱：旨在考察大模型能否幫助記者擬定採訪提綱，輔助記者採訪工作；2.撰寫新聞稿件：旨在考察大模型圍繞既定的多份材料，能否創作一篇新聞稿件；3.校對稿件差錯：旨在考察大模型能否檢查出新聞稿件中的錯別字，語法、數字、標點符號等差錯；4.提煉稿件標題：旨在考察大模型能否根據稿件內容，提煉新聞標題，特別是製作適合在微信等新媒體平臺傳播的新媒體風格標題；5.改寫短視頻文本：旨在考察大模型能否根據一篇文字新聞稿件，改寫成適合短視頻發佈的文案。

需要指出的是，本期評測是通過各款大模型的API端口，並在默認温度下完成。與公眾用户使用的大模型C端對話工具存在差異。評測結果對用户在具體場景中選擇合適的大模型工具，依然具有重要參考價值。

本期評測均在「雨燕智宣AI創作+」測試臺上進行，一共有12款國內大模型參與。評測時間為2024年10月18日，因此參評大模型均為截至10月18日的最新版本。

評測結果顯示，騰訊混元hunyuan-turbo以379.53的總分位居榜首，緊隨其后的是智譜GLM-4-Plus獲得368.6分，字節 跳 動 doubao- pro- 32k（240828版本）獲得363分。

在五個細分場景方面，各家模型展現出不同的優勢。

在設計採訪提綱場景中，騰訊混元hunyuan-turbo與崑崙萬維天工SkyChat-3.0兩款模型均取得了93.33分的佳績，並列第一。在撰寫新聞稿件場景中，智譜GLM-4-Plus以98分的高分拔得頭籌。在校對稿件差錯場景中，智譜GLM-4-Plus以60分的成績位居首位。在提煉稿件標題方面，深度求索DeepSeekV2.5模型以55.2分的成績領先其他模型。在改寫短視頻文本場景中，騰訊混元hunyuan-turbo再次展現其強勁實力，以95分的成績位列第一。

世界上還沒有「AI記者」 需完善審覈與內容把關

結論一：暫無一款大模型能高質量完成採編全流程工作

截至目前，每日經濟新聞一共推出3期大模型評測報告，覆蓋12項新聞採編應用場景，從結果來看，沒有一款大模型能在所有場景中均排名前列。

正如人類一樣，各款大模型的長處與短板各不相同。比如，有的大模型擅長財務數據計算，但在新聞標題提煉中卻排名末尾；有的大模型擅長英譯漢，卻在漢譯英方面能力平平。

在新聞生產的關鍵環節，如本期評測中的「撰寫新聞稿件」「校對稿件差錯」「提煉新聞標題」、第一期評測中的「財務數據計算與分析」和第二期評測中的「金融數學計算」等應用場景，多數大模型生成結果差錯頻出，要保證新聞稿件高質量、無差錯，還必須由人工審覈、把關。

目前市面上還沒有一款大模型能夠高質量、全流程完成新聞採編場景的所有工作，換句話説，世界上還沒有「AI記者」。

結論二：大模型「幻覺」未解，錯誤更隱蔽

儘管各款大模型已經多次迭代升級，但依然解決不了「一本正經地胡說八道」的幻覺問題。

最初的大模型「幻覺」問題比較明顯。隨着產品不斷迭代，大模型生成文本質量逐漸提升，但文本中的錯誤也越發隱蔽。比如，在「撰寫新聞稿件」場景中，大模型會在不起眼處改變人物的職位或虛構事件發生的時間。例如在本期評測中，部分大模型將9月24日「星巴克咖啡公司宣佈調整其中國區領導層結構」的時間，誤寫成9月30日。再比如在第二期評測「金融數學計算」場景中，即便是得分第一的大模型也會在個別題目中給出正確的計算公式，卻依然得出錯誤的答案。

對於一篇高質量新聞稿件來説，上述問題都可能是「致命」的差錯。目前，AI生成內容已經大規模出現在互聯網中。這就要求新聞媒體要進一步完善新聞內容真實性審覈機制，更需要加強內容把關。

目前仍需人工介入和打磨 部分場景可實現採編AI化

結論三：「冷麪」的大模型難判斷新聞價值

在本期評測的「提煉稿件標題」場景中，大模型得分普遍偏低。其生成的標題多顯得中規中矩。例如大模型提煉的《「星巴克中國新篇章：80后劉文娟接任CEO，引領咖啡巨頭迎挑戰」》《「星巴克中國換帥：80后劉文娟接棒CEO，直面市場挑戰與變革」》等標題。

另外，評測中發現，大模型提煉的新聞標題，往往充斥着一些「高大上」的抽象概念詞匯，無法挖掘文章中最重要的新聞點和有價值的信息，文字空洞，很難吸引讀者的眼球。

此外，在「撰寫新聞稿件」場景中，大模型生成的文本較為生硬，「機器痕跡」較明顯，缺乏情感和個性化表達。

結論四：不同採編場景選擇最適合的大模型

這三期大模型評測的場景基本可以分為輔助性場景（如財經新聞閲讀、文本翻譯、設計採訪提綱等）和關鍵性場景（如撰寫新聞稿件、校對稿件差錯、提煉新聞標題等）。

三期評測結果表明，絕大部分大模型在設計採訪提綱、改寫短視頻文案、英漢翻譯、文章閲讀以及微博新聞寫作等輔助性場景中普遍表現良好。例如，「改寫短視頻文案」場景中，所有參與評測的12款大模型均取得超過80分的成績；「設計採訪提綱」場景中，有8款大模型的得分高於80分。在第二期評測的「商務本文翻譯」場景中，13款大模型得分都高於80分，在「財經新聞閲讀」場景中，13款大模型得分高於70分。

而在撰寫新聞稿件、校對稿件差錯、提煉新聞標題等新聞生產關鍵性場景的能力則明顯不足。比如，在「校對稿件差錯」場景中，僅一款大模型得分達到60分。在「提煉新聞標題」場景中，沒有一款大模型得分達到60分。

繼續探索大模型無限可能 誠摯邀請您加入評測項目

結論五：新聞媒體主導，打造垂直領域的「AI記者」

對比這三期大模型評測結果不難發現，國內大模型通過持續迭代，能力穩步提升。同時，各家大模型之間的差距也在逐步縮小，每個模型都展現出獨特的優勢。這些大模型都屬於通用大模型，並非為新聞媒體、採編工作量身定製。

造成大模型「幻覺」問題嚴重的一大原因，在於訓練文本和數據質量不高，其中包含不少信息錯誤。而新聞工作對準確性要求極高。這一短板直接限制了大模型在新聞領域的應用。然而，新聞媒體在長期的新聞報道中已經積累的大量高質量新聞稿件和數據，恰恰為研發適合新聞採編工作的大模型工具提供了得天獨厚的優勢。

因此，自主訓練和主導研發大模型工具變得尤為重要，藉此，新聞媒體不僅能夠最大限度地確保大模型訓練數據的質量和生成邏輯的準確性，還能保證大模型生成內容的可控性，使其更好地契合媒體自身的屬性和特色。

在研發方法上，可以將採編全流程拆分成數十個環節，如採訪、翻譯、稿件寫作、提煉摘要和校對差錯等。根據各環節的具體工作目標、方法和要求，對大模型進行專項訓練，以形成一系列單任務或垂類AI工具。最終，將這些單任務AI工具打包匯集，則可以打造出一整套新聞採編AI工具。

接下來，「每日經濟新聞大模型評測小組」將繼續深入探索大模型的無限可能，從實際應用場景出發，對各個大模型進行全方位評測，並定期推出專業報告，帶來最前沿的洞察和發現。

在此，我們誠摯地邀請您加入評測項目。如果您是研發企業，想要展示自家大模型的實力，與其他大模型進行比拼，請將參評大模型的詳細信息發送至我們的郵箱：damoxing@nbd.com.cn。如果您是大模型的使用者，請告訴我們您希望在哪些場景中使用大模型，或者希望我們測試大模型的哪些能力。請打開每日經濟新聞App，在「個人中心」——「意見反饋」欄中留下您的想法和需求。

翻譯

搜索

複製

封面圖片來源：主辦方供圖