人大與騰訊LaSeR實現AI單詞自我評判

　　炒股就看金麒麟分析師研報，權威，專業，及時，全面，助您挖掘潛力主題機會！

（來源：科技行者）

這項由中國人民大學高瓴人工智能學院的楊文凱、郭毅舉、林衍凱聯合騰訊公司的劉偉杰、謝若冰、吳璐璐、楊賽永等研究人員共同完成的突破性研究，發表於2025年10月，論文編號為arXiv:2510.14943v1。有興趣深入瞭解的讀者可以通過該編號查詢完整論文。

當下的人工智能正面臨一個有趣的悖論。我們都希望AI能夠像人類一樣進行復雜的推理，比如解決數學題或者邏輯推理。但是，就像學生做完作業需要老師批改一樣，AI完成推理后也需要有人來判斷答案的對錯。這個"判斷對錯"的過程在AI領域被稱為驗證。

目前解決這個問題主要有兩種思路。第一種是訓練一個專門的"AI老師"來批改作業，但這就像爲了教一個學生而專門培養一位老師，成本很高。第二種是讓AI學會自己批改自己的作業，但傳統方法需要AI先給出答案，然后再重新分析一遍自己的答案來判斷對錯，這就像讓學生寫完作業后再寫一份檢查報告，非常費時費力。

研究團隊發現了一個令人驚喜的現象：AI其實早就把自己對答案的信心度"寫"在了答案的最后一個詞里，只是我們之前沒有發現這個祕密。這就好比一個學生在答完題后，會下意識地在答案結尾的語氣中透露出自己的信心程度——如果很有把握，語氣會比較肯定；如果不確定，語氣會比較猶豫。

基於這個發現，研究團隊開發出了一種名為LaSeR的新方法，全稱是"基於最后詞元自我獎勵的強化學習"。這個方法的核心思想非常巧妙：不需要讓AI重新分析自己的答案，只需要觀察它在生成答案最后一個詞時的"心理活動"，就能準確判斷這個答案的質量。

一、傳統方法的困境：為什麼讓AI自我評判這麼難？

要理解LaSeR方法的巧妙之處，我們首先需要了解傳統方法面臨的困境。在AI的世界里，訓練一個能夠進行復雜推理的模型，就像培養一個優秀的學生。但僅僅會做題還不夠，我們還希望這個"學生"能夠判斷自己的答案是否正確。

傳統的做法分為兩大類。第一類是訓練外部驗證器，這就像專門培養一位老師來批改作業。研究人員需要收集大量的題目和答案，然后訓練另一個AI模型來判斷答案的對錯。這種方法的問題在於，培養一位"老師"的成本往往不亞於培養一個"學生"，而且這位"老師"可能只擅長某一類題目的批改。

第二類方法是讓AI進行自我驗證。這就像讓學生完成作業后，再寫一份詳細的檢查報告來説明自己的答案為什麼是對的或錯的。具體來説，AI需要先根據題目生成一個答案，然后再重新閲讀題目和自己的答案，生成一段驗證文字，最后根據這段驗證文字來判斷原答案的正確性。

這種自我驗證的方法看起來很合理，但實際操作中存在一個致命的效率問題。每次AI要判斷一個答案的好壞，都需要進行兩次完整的思考過程：第一次生成答案，第二次生成驗證。這就像讓學生做完每道題后都要寫一篇小作文來解釋自己的思路，不僅耗時，而且容易讓人疲勞。

更麻煩的是，這種兩步走的方法在實際應用中會大大降低AI的響應速度。原本AI可能只需要幾秒鍾就能給出答案，現在卻需要十幾秒甚至更長時間，因為它必須完成兩輪完整的思考。這在實際應用中是難以接受的，特別是當用户需要快速獲得答案的時候。

此外，傳統方法還面臨一個更深層的理論問題。在AI訓練過程中，研究人員通常使用一種叫做"隱式獎勵"的概念來衡量AI回答的質量。簡單來説，這個概念試圖通過比較AI當前回答與理想回答之間的差異來評估質量。但問題在於，這種比較方法會偏向於更長的回答，因為長回答包含更多的詞匯，累積的差異值自然更大。

這種偏向性在推理任務中特別成問題，因為錯誤的推理過程往往比正確的推理過程更宂長。這就像學生做錯題時往往會寫得很多，試圖通過複雜的解釋來掩蓋錯誤的邏輯，而正確答案通常更加簡潔明瞭。因此，傳統的評估方法可能會錯誤地認為那些宂長但錯誤的回答比簡潔正確的回答更好。

面對這些挑戰，研究團隊開始思考：是否存在一種更簡單、更直接的方法來讓AI進行自我評估？答案就隱藏在AI生成文字的最后一個時刻。

二、驚人發現：AI的"最后一詞"藏着巨大祕密

研究團隊在深入分析AI的工作機制時，發現了一個令人驚訝的現象。當AI完成一個推理任務並生成答案后，它在預測下一個可能出現的詞匯時，會無意中透露出對自己答案質量的評估。這個發現就像發現了AI內心深處的一個祕密通道。

爲了理解這個發現，我們可以把AI的工作過程想象成一個作家在寫小説。作家在寫完每一段后，心中都會對接下來可能發生的情節有一個大致的預期。如果前面的情節發展得很順暢、邏輯清晰，作家會對后續情節充滿信心，選擇詞匯時會更加果斷。反之，如果前面的情節存在邏輯漏洞或不合理的地方，作家在選擇后續詞匯時會顯得猶豫不決。

AI在處理推理任務時也有類似的表現。當它完成一個數學題的解答后，雖然表面上看起來已經結束了，但實際上它的"大腦"仍在活躍地預測接下來可能出現的內容。如果這個解答過程邏輯清晰、步驟正確，AI在預測某些特定詞匯（比如表示正確或滿意的詞匯）時會表現出更高的信心。相反，如果解答過程存在錯誤或邏輯混亂，這種信心就會明顯下降。

研究團隊通過大量實驗驗證了這個現象。他們選擇了一些在正常情況下幾乎不會出現的特殊詞匯作為觀察對象，比如""這樣的技術標記。正常情況下，AI在完成數學題解答后，幾乎沒有理由會想到這些特殊詞匯。但研究人員發現，當AI給出正確答案時，它對這些特殊詞匯的預測概率會顯著高於給出錯誤答案時的情況。

這種現象背后的原理可以用一個簡單的類比來解釋。當一個學生對自己的答案很有信心時，他會處於一種相對放松和開放的心理狀態，更容易聯想到各種可能性。相反，當學生對答案沒有把握時，思維會變得比較緊張和封閉，聯想能力也會受到限制。AI的表現與此類似：正確的推理過程會讓AI進入一種更加"開放"的狀態，對各種詞匯的預測能力更強。

更令人驚喜的是，研究團隊發現這種現象具有很強的穩定性。無論是簡單的算術題還是複雜的奧林匹克數學競賽題，無論是使用哪種類型的AI模型，這種"最后一詞效應"都能穩定地反映答案的質量。這就像發現了一個通用的"測謊儀"，能夠準確識別AI內心對自己答案的真實評價。

基於這個發現，研究團隊意識到可以將這種現象轉化為一個實用的評估工具。他們不需要讓AI進行復雜的自我分析，只需要觀察它在答案結尾處對特定詞匯的預測概率，就能準確判斷答案的質量。這種方法的優雅之處在於，它完全避免了傳統方法的效率問題，因為觀察預測概率幾乎不需要額外的計算成本。

通過進一步的理論分析，研究團隊證明了這種方法在數學上是完全合理的。他們發現，在特定的數學框架下，AI對答案質量的真實評估確實等於它對特定詞匯的預測概率與某個參考值之間的差異。這個發現不僅解釋了為什麼"最后一詞效應"如此準確，也為這種方法提供了堅實的理論基礎。

三、LaSeR方法的核心原理：化繁為簡的智慧

基於對"最后一詞效應"的深入理解，研究團隊設計出了LaSeR方法。這個方法的核心思想是將複雜的自我驗證過程簡化為一個極其簡單的數學運算，就像把複雜的烹飪過程簡化為一個簡單的食譜。

LaSeR方法的工作原理可以用一個巧妙的比喻來解釋。想象一位經驗豐富的品酒師，他不需要詳細分析一瓶酒的每個成分，只需要觀察酒液在杯中的最后一滴如何落下，就能判斷這瓶酒的整體質量。AI的情況與此類似：它不需要重新分析整個推理過程，只需要觀察自己在答案結尾處的"心理狀態"，就能評估答案的質量。

具體來説，LaSeR方法的工作流程非常簡潔。當AI完成一個推理任務后，研究人員會要求它預測答案結尾處出現某個預先指定詞匯的概率。這個詞匯通常是一個在正常情況下不太會出現的特殊標記，比如""或""。AI對這個詞匯的預測概率就是它的"自我評分"。

這個自我評分的計算方式看起來複雜，實際上非常直觀。研究人員會比較AI當前狀態下的預測概率與一個參考狀態下的預測概率，然后用一個調節參數來縮放這個差異。這就像比較一個學生在自信狀態和緊張狀態下的表現差異，然后用一個合適的標準來衡量這種差異的意義。

LaSeR方法的訓練過程就像教導一個學生校準自己的自信心。在訓練開始時，AI的自我評分可能不夠準確，就像一個新手經常高估或低估自己的能力。研究人員會通過一個叫做"均方誤差損失"的技術來糾正這種偏差。具體來説，他們會讓AI的自我評分逐漸接近真實的答案質量評分，就像幫助學生逐步建立準確的自我認知。

這個訓練過程的巧妙之處在於它的簡潔性。傳統方法需要AI進行兩輪完整的思考過程，而LaSeR只需要在原有的推理過程基礎上增加一個簡單的概率計算。這就像在原有的作業基礎上增加一個簡單的自信度標記，幾乎不增加額外的工作量。

爲了進一步提高效率，研究團隊還發現了一個重要的簡化技巧。他們注意到，那個用作參考的概率值在不同題目和不同答案之間幾乎保持不變，就像一個穩定的基準線。這意味着可以預先計算這個值，在實際應用時直接使用，從而將計算成本減少一半。

研究團隊還開發了幾個實用的技術改進。例如，他們發現在訓練過程中，正確答案和錯誤答案的數量往往不平衡，這可能導致AI的自我評估出現偏向性。爲了解決這個問題，他們採用了一種"天平式"的平衡策略，確保AI對正確答案和錯誤答案的評估都能達到應有的準確度。

另一個重要的改進是將AI的自我評分與傳統的驗證結果相結合。這就像讓一個學生的最終成績由自我評估和老師評估兩部分組成，既保持了自我評估的效率優勢，又藉助了傳統驗證的準確性。這種結合不僅提高了評估的準確性，還幫助AI在訓練過程中學會更精細的質量判斷。

最終，LaSeR方法實現了一個看似不可能的目標：讓AI以接近零的額外成本獲得準確的自我評估能力。這種方法不僅在訓練階段能夠提供有價值的反饋信息，在實際應用中還能幫助AI更好地處理多個候選答案的排序和選擇問題。

四、實驗驗證：LaSeR方法的驚人表現

爲了驗證LaSeR方法的有效性，研究團隊進行了一系列全面而嚴謹的實驗。這些實驗就像一場多項全能比賽，從不同角度測試LaSeR方法的各項能力。

實驗選用了三個不同規模和特點的AI模型作為測試對象。第一個是OctoThinker-3B-Short-Base，這是一個相對較小但經過特殊訓練的模型，就像一個專門訓練過的運動員。第二個是Qwen2.5-7B-Base，這是一箇中等規模的基礎模型，相當於一個有一定基礎但還需要進一步訓練的學生。第三個是Open-Reasoner-Zero-7B，這是一個已經經過強化學習訓練的高級模型，類似於一個經驗豐富的專業選手。

測試數據來自五個不同難度級別的數學競賽題庫。這些題庫就像從小學算術到奧林匹克競賽的不同級別考試，能夠全面評估AI的推理能力。其中包括MATH500這樣的綜合性題庫，AMC23這樣的高中水平競賽題，以及AIME24、AIME25這樣的精英級數學競賽題，還有OlympiadBench這樣的國際奧林匹克水平題目。

實驗結果令人印象深刻。在推理能力方面，使用LaSeR方法訓練的AI模型在幾乎所有測試中都表現出了顯著的性能提升。以Qwen2.5-7B模型為例，在MATH500測試中，原始模型的準確率為35.8%，使用傳統強化學習方法訓練后達到79.9%，而使用LaSeR方法訓練后進一步提升到80.2%。雖然數字上的提升看起來不大，但在高難度的推理任務中，每一個百分點的提升都代表着顯著的進步。

更令人驚喜的是LaSeR方法在自我驗證能力方面的表現。這種能力可以用"自知之明"來形容，即AI能夠準確判斷自己答案的質量。實驗結果顯示，經過LaSeR訓練的模型在自我驗證的F1評分（一個綜合評估準確性的指標）方面取得了巨大突破。同樣以Qwen2.5-7B模型為例，原始模型的自我驗證F1評分僅為32.9%，使用傳統方法訓練后提升到49.2%，而使用LaSeR方法后躍升至驚人的79.6%。

這種自我驗證能力的提升具有重要的實際意義。在實際應用中，當AI需要從多個可能的答案中選擇最佳答案時，準確的自我評估能力就像一個內置的"質量檢測器"，能夠幫助AI做出更明智的選擇。實驗顯示，具備了這種能力的AI在處理多答案選擇任務時表現出色，能夠有效識別出質量最高的答案。

研究團隊還進行了一個特別有趣的對比實驗，將LaSeR方法訓練出的自我驗證能力與專門訓練的外部驗證器進行比較。結果顯示，LaSeR方法的表現不僅不遜色於同等規模的外部驗證器，在某些情況下甚至能夠匹敵規模大十倍以上的專業驗證模型。這就像一個學生通過自我反思達到了專業老師的評判水平，展現了這種方法的巨大潛力。

另一個重要的實驗發現是LaSeR方法的通用性。研究團隊將這種方法應用到數學推理以外的其他領域，包括一般性推理任務，比如MMLU-Pro和GPQA-Diamond這樣的綜合性智力測試。雖然在這些更加廣泛的任務中，LaSeR方法的效果不如在數學推理中那樣顯著，但仍然表現出了一定的改進效果，證明了這種方法的基本原理具有一定的普適性。

效率測試的結果更是讓人眼前一亮。傳統的自我驗證方法需要AI進行兩輪完整的思考過程，相當於將計算成本翻倍。而LaSeR方法只需要在原有基礎上增加一次簡單的概率計算，額外的計算成本幾乎可以忽略不計。這種效率優勢在實際應用中具有重要價值，特別是在需要處理大量查詢的場景中。

研究團隊還測試了LaSeR方法在推理時擴展方面的表現。當AI生成多個候選答案時，LaSeR提供的自我評分能夠作為權重來改進最終答案的選擇。實驗顯示，這種加權選擇策略比簡單的多數投票策略表現更好，進一步提升了AI的整體性能。

五、方法優勢與技術細節：簡約之美的技術實現

LaSeR方法的成功不僅在於其創新的核心思想，更在於其技術實現的精巧設計。整個方法就像一件精心設計的藝術品，每個細節都體現了研究者對效率和準確性的極致追求。

從計算複雜度的角度來看，LaSeR方法實現了一個幾乎不可能的平衡。傳統的自我驗證方法需要AI模型進行兩次完整的前向傳播計算，這就像讓一個人思考兩遍同一個問題。每次前向傳播都需要調用模型的全部參數，消耗大量的計算資源和時間。相比之下，LaSeR方法只需要在AI生成答案后，額外計算一個特殊詞匯的出現概率，這個過程只需要最后一層神經網絡的參與，計算量微乎其微。

這種設計的巧妙之處在於它對現有AI訓練流程的無縫集成。在標準的強化學習訓練過程中，AI模型本來就需要計算每個生成詞匯的概率分佈，LaSeR方法只是在這個已有的計算基礎上增加了對一個額外詞匯的關注。這就像在已有的考試流程中增加一個簡單的自信度評分，幾乎不會影響原有的考試進度和效果。

在實際的技術實現中，研究團隊還解決了一系列精細的工程問題。例如，他們發現不同類型的特殊詞匯會對方法的效果產生影響。經過大量測試，他們發現使用那些在訓練語料中極少出現的特殊標記符號效果最佳，比如一些技術性的標記符號。這些符號就像純淨的指示劑，不會被其他語義信息干擾，能夠更準確地反映AI的內在狀態。

另一個重要的技術細節是參考概率值的計算和使用。研究團隊通過大規模的統計分析發現，AI模型在不同問題和答案情況下，對這些特殊詞匯的基礎預測概率幾乎保持恆定。這個發現讓他們能夠將這個值預先計算並固定下來，從而在實際應用中省去了一半的計算步驟。這種優化就像發現了一個通用的標準尺度，可以在所有測量中重複使用。

在訓練過程的設計上，LaSeR方法採用了一種漸進式的策略。這種策略就像教授一項複雜技能時的分步驟方法：首先讓AI專注於學習基本的推理能力，然后逐步引入自我評估的訓練，最后將兩種能力整合起來。這種分階段的訓練方式避免了同時學習多項技能時可能出現的干擾現象，確保每項能力都能得到充分的發展。

研究團隊還特別關注了訓練數據不平衡的問題。在實際的推理任務中，正確答案和錯誤答案的數量往往不相等，而且這個比例會隨着訓練的進行而動態變化。爲了解決這個問題，他們設計了一種動態權重調整機制，就像一個自動平衡的天平，能夠根據當前的數據分佈實時調整訓練的重點，確保AI既能準確識別正確答案，也能有效識別錯誤答案。

在與傳統強化學習方法的整合方面，LaSeR展現了良好的兼容性。傳統的強化學習方法依賴外部驗證器提供的獎勵信號來指導訓練，而LaSeR方法生成的自我評分可以作為一個額外的信息源，與外部獎勵信號相結合。這種結合就像給傳統的學習過程增加了一個內在的反饋迴路，讓AI能夠從多個角度評估自己的表現，從而實現更加精細和準確的學習。

值得注意的是，LaSeR方法在不同規模的AI模型上都表現出了良好的適應性。無論是參數量較少的小型模型，還是參數量龐大的大型模型，這種方法都能發揮相似的改進效果。這種規模無關性表明，LaSeR方法抓住了AI模型工作機制中的某種基本規律，而不是依賴於特定模型架構的特殊性質。

六、應用前景與實際價值：開啟智能新紀元

LaSeR方法的成功不僅僅是一個學術突破，更重要的是它為人工智能的實際應用開闢了全新的可能性。這種讓AI具備準確自我評估能力的技術，就像給AI裝上了一個精確的內在指南針，能夠在各種複雜情況下指引正確的方向。

在教育領域，LaSeR技術可能會徹底改變智能輔導系統的工作方式。想象一個能夠自我評估的AI數學老師，它不僅能夠解答學生的問題，還能準確評估自己答案的可靠性。當學生提出一個超出其能力範圍的問題時，這個AI老師能夠誠實地説："我對這個答案不太確定，建議你向人類老師求助。"這種自知之明將大大提高AI輔導系統的可信度和實用性。

在科學研究領域，LaSeR方法可能會成為研究人員的得力助手。科研工作經常需要處理複雜的邏輯推理和數據分析，而能夠自我評估的AI可以幫助研究人員快速篩選出最有價值的思路和假設。當AI提出一個科學假設時，它同時提供的信心度評分能夠幫助研究人員決定是否值得進一步投入時間和資源進行驗證。

在商業決策支持方面，LaSeR技術同樣具有巨大潛力。企業在制定戰略決策時，經常需要分析複雜的市場數據和競爭情況。配備了LaSeR技術的AI顧問不僅能夠提供分析結果，還能告訴決策者這些結果的可靠程度。這種透明度對於高風險的商業決策來説至關重要，能夠幫助企業更好地管理風險和把握機會。

在法律諮詢和合規檢查領域，準確的自我評估能力顯得尤為重要。法律文件的分析往往涉及複雜的邏輯推理和條款解釋，錯誤的結論可能導致嚴重后果。具備LaSeR能力的AI法律助手可以在提供法律意見的同時，明確標註其對每個結論的信心水平，幫助律師和法務人員做出更明智的判斷。

在醫療診斷輔助方面，雖然AI不能替代醫生的專業判斷，但LaSeR技術可以讓AI診斷助手更加可靠。當AI分析醫學影像或病症時，它能夠誠實地報告自己的分析信心度，幫助醫生識別哪些案例需要更仔細的人工複查，哪些案例可以相對放心地依賴AI的初步判斷。

從技術發展的角度來看，LaSeR方法還為AI的進一步演進奠定了基礎。隨着AI系統變得越來越複雜，讓它們具備準確的自我認知能力將成為確保AI安全性和可控性的關鍵因素。LaSeR提供的技術路徑表明，我們可以在不顯著增加計算成本的情況下，大幅提升AI系統的可信度和透明度。

在實際部署方面，LaSeR方法的高效性使其具有很強的實用價值。傳統的自我驗證方法因為計算成本過高，往往只能在離線環境或對響應時間要求不高的場景中使用。而LaSeR方法幾乎不增加計算負擔，使得實時的自我評估成為可能。這意味着用户可以在與AI交互的過程中，實時獲得關於AI回答質量的反饋信息。

對於AI服務提供商來説，LaSeR技術還能夠幫助優化資源配置。通過監控AI的自我評估分數，服務提供商可以識別出哪些類型的問題對當前的AI系統來説比較困難，從而有針對性地改進訓練數據或調整模型架構。這種反饋機制就像一個持續的質量監控系統，能夠推動AI服務的不斷改進。

LaSeR方法還為多模型協作開闢了新的可能性。在複雜的任務中，往往需要多個AI模型協同工作，每個模型負責不同的子任務。LaSeR提供的自我評估能力可以作為模型間通信的重要信息，幫助整個系統更好地協調各個組件的工作，實現更高效的協作。

隨着這項技術的成熟和推廣，我們可能會看到一個更加智能和可信的AI生態系統的出現，其中每個AI系統都具備準確的自我認知能力，能夠誠實地報告自己的能力邊界和不確定性，從而為人類提供更可靠、更有價值的智能服務。

説到底，LaSeR方法的真正價值不僅在於讓AI變得更聰明，更在於讓AI變得更誠實。在一個日益依賴人工智能的世界里，這種誠實可能比純粹的智能更加珍貴。當AI能夠準確地告訴我們"我知道什麼"和"我不知道什麼"時，人類與AI的合作將進入一個全新的階段，這個階段的特徵是信任、透明和互相尊重的智能夥伴關係。

研究團隊已經將LaSeR的代碼和訓練好的模型在GitHub平臺上開源，這意味着全世界的研究人員和開發者都可以基於這項技術進行進一步的創新和應用。隨着更多的研究者加入到這個領域，我們有理由期待看到更多基於LaSeR原理的創新方法和應用場景的出現，最終推動整個人工智能領域向着更加可信和實用的方向發展。

Q&A

Q1：LaSeR方法是什麼？

A：LaSeR是"基於最后詞元自我獎勵的強化學習"的簡稱，這是由中國人民大學和騰訊聯合開發的AI訓練新方法。它能讓AI通過觀察自己生成答案時最后一個詞的"心理活動"，準確判斷答案質量，就像讓AI學會了準確的自我評估。

Q2：LaSeR方法比傳統的AI自我驗證方法有什麼優勢？

A：傳統方法需要AI做完題目后再重新分析一遍答案來判斷對錯，相當於讓學生寫完作業還要寫檢查報告，非常費時。而LaSeR只需要觀察AI答題結束時對特定詞匯的預測概率，幾乎不增加計算成本，效率提升巨大。

Q3：LaSeR方法在實際應用中表現如何？

A：實驗結果顯示，使用LaSeR訓練的AI不僅推理能力有所提升，自我驗證能力更是大幅增強。比如在Qwen2.5-7B模型上，自我驗證F1評分從32.9%躍升到79.6%，甚至能匹敵比它大十倍的專業驗證模型，同時計算成本幾乎沒有增加。