OpenAI宋颺被Meta挖跑了！擴散模型崛起關鍵人物，加入MSL再會師清華校友趙晟佳

衡宇 發自 凹非寺

量子位 | 公眾號 QbitAI

最新消息，扎克伯格再次從OpenAI重磅挖角了一名華人研究員。

這次是——宋颺（Yang Song）！

宋颺，何許人也？

16歲裸分上清華的少年天才，擴散模型崛起&攻克擴散模型短板的關鍵貢獻者之一，OpenAI戰略探索團隊的帶隊人。

這次是真的要用「震驚」來表達我內心的感受了（吃驚臉.jpg）……

翻看他本人在𝕏上的最新一篇推文，還是上個月因GPT-OSS而激動。

現在再聽聞他的消息，已經是宋颺於本月初轉會至Meta的MSL旗下，向MSL首席科學家趙晟佳匯報。

他被撬動這件事，咱聽到后脫口而出一句「震驚」真不是誇張，而且相信大部分人聽到這個消息幾乎第一反應都這樣。

業內人士稱他是Meta從OpenAI挖來的最強大腦之一，還説「很多OpenAI的朋友得知他離開，都驚呆了」。

Meta前前后后不停歇挖來的這麼多牛人，他們到底看中的是什麼？

有網友評價道，他們並非純粹爲了金錢利益，「一旦你達到一定的財富水平，金錢就不再驅動你的決策」——尤其是對於那些在OpenAI工作了3年以上的員工來説。

持續攻克擴散模型短板

宋颺於2022年博士畢業后加入OpenAI，擔任研究科學家，至今3年零2個月。

他的核心研究方向是提升模型處理大規模、複雜、多模態數據集的能力，以及探索如何讓模型在不同模態（圖像、文本、代碼等）之間進行更高效、更智能的交互。

離開OpenAI前，宋颺是公司戰略探索團隊（Strategic Explorations Team）的負責人。

這個團隊沒有具體的成立時間，是作為OpenAI整體組織的一部分從公司成立以來逐步發展起來的，主要負責前瞻性研究方向探索，重點在模型能力拓展、跨模態數據處理等。

在OpenAI期間，宋颺最出名的成果是一致性模型。

2023年4月，宋颺、清華校友路橙以及Ilya等開源了比擴散模型更快、性能更好的一致性模型Consistency Models，只需要3.5秒左右就能生成64張左右256×256的圖像。

去年10月，宋颺和路橙再次簡化了一致性模型，提出改進版的連續時間一致性模型（Continuous-Time Consistency Models），解決了早期一致性模型在穩定性和可擴展性上的問題。

僅用兩步採樣，就能讓生成質量與擴散模型結果相媲美，同時生成圖像的速度是擴散模型的50倍。

他們成功將連續時間一致性模型的訓練規模擴展到了前所未有的15億參數，並實現了在512×512分辨率的ImageNet數據集上的訓練。

基於這項研究，在單張A100 GPU上，參數15億的模型無需任何推理優化，即可在0.11秒內生成一個樣本。

這兩篇論文和開源代碼被大量引用，是近兩年生成模型領域的明星成果。

業內有討論稱，這個方向有可能成為「有可能終結擴散模型」的新方向。

但要知道，在此之前，同樣也是因為宋颺的工作，纔出現了擴散模型如DALL-E 2、Stable Diffusion、Imagen的狂潮。

擴散模型崛起的關鍵人物之一

來到OpenAI之前，宋颺在斯坦福大學攻讀計算機博士，師從斯坦福計算機系副教授Stefano Ermon。

這位導師團隊曾連續兩年獲得ICLR傑出論文獎。

其中一次，一作正是宋颺。

而要被視作為擴散模型提供早期貢獻的，還要屬被NeurIPS 2019接收並做口頭報告的工作《Generative Modeling by Estimating Gradients of the Data Distribution》。

當時，GAN還在以逼真生成風格席捲全球，但眾多科學家仍受困於很難訓練、無法完整採樣等難題。

斯坦福大學博士后Sohl-Dickstein受物理學啓發，利用擴散原理開發了生成建模算法——

類似於從一滴墨水變成漫射淡藍色的水，首先將訓練數據集中的複雜圖像轉化為簡單的噪聲，然后教系統如何反轉這個過程，將噪聲轉化為圖像。

如此一來就能實現對整個分佈進行採樣。

但當時，這樣做會讓訓練過程太慢，性能效果也遠遠落后於GAN。

這時候，宋颺和他的導師Stefano Ermon出現了。

他們提出了一種新方法，不估計數據的概率分佈，而是估計分佈的梯度，最終效果實現了對GAN的超越。

不過，后來宋颺坦言：

當時根本不知道擴散模型。

他本人是在論文發佈后，從Sohl-Dickstein的郵件才知道，自己的研究與擴散模型有非常緊密的聯繫。

在此前，宋颺都不知道這場受物理學啓發的擴散模型風潮，會和自己有關，併成為顯學。

16歲裸分上清華的少年天才

不過説來有趣，早在高中時期，宋颺就展現了他在物理和信息學方面的天賦。

宋颺高中時期就讀於江蘇省新海高級中學，獲得過全國物理奧賽、信息學奧賽的一等獎。

14歲時，他在清華推薦生面試現場，有一段經典的排比句自我介紹：

我是奧賽宋颺，我獲得了物理以及信息學的全國一等獎；

我是標兵宋颺，我的理想是做一名物理學家，現在我已經自學了高校里的高等數學以及普通物理學；

我還是文藝宋颺，我已經通過了鋼琴十級考試，在班級的羽毛球對抗賽上，也有我活躍的身影。

最終，他以17位評委全票通過的成績，入選「清華大學新百年領軍計劃」。

次年高考時，他考出425分的裸分成績，以連雲港市理科狀元的身份入讀清華大學數理基礎科學班。

這個成績也超出他自己的估分，稱「我覺得也就在400分左右吧，完全出乎意料」。

本科時期，宋颺跟從清華計算機科學與技術系教授朱軍學習。

並與Raquel Urtasun（多倫多大學計算機科學系教授）和Richard Zemel（曾在多倫多大學和哥倫比亞大學任教）等學術大咖有過學術合作。

2016年，宋颺從清華畢業，拿下數學與物理本科學位，此后赴斯坦福深造。

讀博期間，他在微軟、Uber、Google都有過實習經歷。

等到博士畢業，他就被OpenAi收入囊中了。

截至本文推送，宋颺的領英和𝕏頁面都還保持在「於OpenAI工作」的狀態。

One More Thing

現在，宋颺在Meta MSL的+1是趙晟佳。

過去十余年間，他倆之間真的十分有緣——

同是清華校友，同在斯坦福師從Stefano Ermon，同在OpenAI工作。

現在，兩人又先后跳槽，變成了小扎的心腹大將。

妙啊，妙。

參考鏈接：

[1]https://mp.weixin.qq.com/s/3h_mxCij5_owicnfsHhp_Q

[2]https://www.wired.com/story/meta-poaches-openai-researcher-yang-song/

[3]https://x.com/Yuchenj_UW/status/1971088866095603858

[4]https://www.linkedin.com/in/yang-song-machine-learning/details/experience/

[5]https://openreview.net/pdf/ef0eadbe07115b0853e964f17aa09d811cd490f1.pdf?ref=news-tutorials-ai-research

（聲明：本文僅代表作者觀點，不代表新浪網立場。）