Meta開源MobileLLM-R1模型，不到1B參數，用1/10的訓練就超越了Qwen3

（來源：機器之心）

與其他全開源模型相比，性能提升2-5倍。

小參數模型也進入了 R1 時代，這次開源出新技術的是 Meta。

本周五，Meta AI 團隊正式發佈了 MobileLLM-R1。

• HuggingFace 鏈接：https://huggingface.co/collections/facebook/mobilellm-r1-68c4597b104fac45f28f448e

• 試用鏈接：https://huggingface.co/spaces/akhaliq/MobileLLM-R1-950M

這是 MobileLLM 的全新高效推理模型系列，包含兩類模型：基礎模型 MobileLLM-R1-140M-base、MobileLLM-R1-360M-base、MobileLLM-R1-950M-base 和它們相應的最終模型版。

它們不是通用的聊天模型，而是監督微調 (SFT) 模型，專門針對數學、編程（Python、C++）和科學問題進行訓練。

除了模型本身之外，Meta 還發布了完整的訓練方案和數據源，以確保可重複性並支持進一步的研究。

值得注意的是，該系列參數最大的 MobileLLM-R1 950M 模型僅使用約 2T 高質量 token 進行預訓練，總訓練 token 量少於 5T，但在 MATH、GSM8K、MMLU 和 LiveCodeBench 基準測試中，其性能與使用 36T token 進行訓練的 Qwen3 0.6B 相當或更佳。

與現有的完全開源模型相比，儘管參數規模明顯更小，MobileLLM-R1 950M 模型在 MATH 基準上的準確率也比 Olmo 1.24B 模型高出約五倍，比 SmolLM2 1.7B 模型高出約兩倍。此外，MobileLLM-R1 950M 在編碼基準測試中的表現遠超 Olmo 1.24B 和 SmolLM2 1.7B ，在完全開源模型中創下了新的最高水平。

Token 效率的比較如下：

后訓練比較：

模型架構：

MobileLLM-R1 的發佈引起了機器學習社區的討論。人們歡迎通義、Meta 等頂尖大模型團隊基於小體量模型的探索。這一方向的訓練成本較為低廉，可以更加方便嘗試各類最新論文提出的技術，更重要的是，模型體量的下降也意味着它可以覆蓋更多端側設備，實現更大面積的落地。

隨着訓練成本普遍下降，我們將會得到更好的模型。

背后三位華人作者

在 MobileLLM-R1 系列發佈的同時，背后的作者們也正式亮相，他們表示，該工作的研發時間有一年之久。該項目由華人領銜。

Zechun Liu

Zechun Liu 是 Meta AI 的研究科學家，專注於大模型和基礎模型的高效部署與優化。

她的研究涉及大語言模型的預訓練與后訓練，神經網絡架構設計與搜索，量化、剪枝與稀疏性，知識蒸餾以及高效的視覺 - 語言模型等，目標是在計算資源有限的環境中實現高性能模型的推理和部署。

2016 年，她在復旦大學獲得本科學位，2019 年至 2021 年在卡內基梅隆大學擔任訪問學者，導師為 Marios Savvides 教授和 Eric Xing（邢波）教授。2021 年 6 月獲得香港科技大學的博士學位，師從 Kwang-Ting Tim CHENG 教授。

Zechun Liu 在頂級會議和期刊上發表了 20 多篇論文，其論文引用量達到了數千次。

Ernie Chang

Ernie Chang 是 Meta AI 的研究科學家，專注於自然語言處理、多模態學習和高效模型部署等領域。

他於 2023 年 2 月加入 Meta，參與了多個前沿項目的研究和開發。

在他的研究中，Ernie Chang 參與了多個重要的項目和論文。例如，他是《Agent-as-a-Judge: Evaluate Agents with Agents》一文的共同作者，該論文提出了一種新的評估方法，通過代理模型對其他代理模型進行評估，從而提高評估效率和準確性。

此外，他還參與了《MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》的研究，該研究致力於優化小語言模型，以適應移動設備上的應用需求。

Ernie Chang 的研究興趣包括多語言處理、多模態系統等。

Changsheng Zhao（趙常盛）

Changsheng Zhao 是 Meta AI 的研究科學家，專注於自然語言處理、深度學習和大語言模型的高效部署與優化。

他本科畢業於北京大學，后在哥倫比亞大學攻讀碩士學位，畢業后去了三星美國研究員擔任研究員，2021 年加入 Meta。

在 Meta，Changsheng Zhao 參與了多個前沿研究項目，主要集中在模型量化、神經網絡架構和多模態系統等領域。 部分代表性工作包括：

• ParetoQ: Scaling Laws in Extremely Low-bit LLM Quantization：探討極低比特量化在大語言模型中的縮放定律，幫助平衡模型大小與準確率。

• Llama Guard 3-1B-INT4：參與開發 Meta 的開源 Llama Guard 模型變體，這是一個緊湊高效的 1B 參數 INT4 量化版本，於 2024 年 Meta Connect 活動中開源，用於 AI 安全和內容過濾。