熱門資訊> 正文
2025-08-19 09:16
明敏 發自 凹非寺
量子位 | 公眾號 QbitAI
哦豁,OpenAI奧特曼又痛失一員大將。
Kevin Lu,領導4o-mini發佈,並參與o1-mini、o3發佈,主要研究強化學習、小模型和合成數據。
下一站是Thinking Machine Lab,OpenAI前CTO Mira Murati出走后新創立的AI公司,估值已達120億美元。
不完全統計,Thinking Machine Lab已經集結數位OpenAI前核心研究員,包括John Schulman、Barrett Zoph、翁荔等。
從Meta到OpenAI,再離開
Kevin Lu畢業於UC伯克利,主要研究強化學習和離線序列數據建模。
畢業后先后加入Hudson River Trading和Meta,2024年3月加入OpenAI。
入職3個月后領導團隊完成了4o-mini,這是一個多模態推理小模型。支持圖文輸入、長上下文,適合複雜任務;同時速度更快、成本更低。
此外還參與了o1-mini和o3的模型開發。主要擅長的領域應該是小模型和強化學習。
其引用量最高的一篇論文是《決策Transformer:通過序列建模進行強化學習》,引用量2254。
這篇論文發表於2021年,研究團隊集結了UC伯克利、Meta AI、UCLA、OpenAI和Google Brain。
這是一個將強化學習問題視為條件序列建模的架構,通過將自迴歸模型基於期望回報(獎勵)、過去的狀態和動作進行條件化,決策Transformer能夠生成期望回報的未來動作。
近期,Kevin Lu的一篇與他主要研究領域相關的博客還有點出圈:互聯網纔是唯一重要的技術。
他認為現在對Transformer架構的關注有點過高了,真正重要的還是數據。研究者們應該關注如何從互聯網這樣的數據源中學習和預測,因為互聯網提供了大量序列相關數據,非常適合進行「下一個token預測」。
在少量數據的環境里,Transformer將失去價值。
以及現在強化學習難以實現從GPT-1到GPT-4般的重大突破,應該停止進行強化學習研究,將注意力放在產品開發上。
強化學習的未來可能涉及到新的數據源和獎勵機制創新,這可能是AI研究的新方向。
剛剛完成20億美元種子輪融資
Kevin Lu的下一站Thinking Machine Lab,也是AI領域近期討論度最高的初創公司之一。
它由OpenAI前CTO Mira Murati聯合多位OpenAI前成員成立。
除了Mira本人外,團隊核心成員已經覆蓋AI領域目前的主要方向:
John Schulman,OpenAI聯創,ChatGPT架構師
Barrett Zoph,OpenAI前研究副總裁,后訓練專家
翁荔,OpenAI前AI安全系統負責人,專長AI安全
Andrew Tulloch,擅長預訓練&推理
Luke Metz,專注后訓練
Alexander Kirillov,OpenAI前多模態研究負責人
……
以及新加入的Kevin Lu,擅長小模型和強化學習。
根據LinkedIn信息,Kevin Lu已於7月正式從OpenAI離職。幾乎同時,Thinking Machine Lab完成破紀錄種子輪融資,估值飆升到120億美元。
而且在最近激烈的硅谷人才大戰中,Thinking Machine Lab獨善其身,十幾名成員無人接受小扎offer,10億美元薪酬都拒絕。
不過Thinking Machine Lab目前還未公開任何成果,倒是讓人更加期待了。
參考鏈接:
[1]https://x.com/miramurati/status/1945166365834535247
[2]https://kevinlu.ai/
(聲明:本文僅代表作者觀點,不代表新浪網立場。)