小扎砸數百億美元猛攻開源AGI！狂擲60萬塊H100，爆50倍GPT-4算力

自Llama2、Code Llama發佈后，許久未現身的小扎今天正式官宣：

全力搞「開源AGI」！

短短1分45秒視頻中，小扎對Meta的戰略升級進行了分享，從AGI構建，到團隊合作，再到基礎設施的等一系列舉措。

接下來，劃重點！！！從現在起，人工智能實驗室FAIR團隊將納入「GenAI」，緊密合作重點構建AGI，並全面開源。目前，Meta內部正在訓練下一代模型Llama 3。截止年底，將會有近35萬塊H100搭建的基礎設施。網友無法想象，Llama 3那得有多大！

Omdia研究數據顯示，Meta在2023年H100的出貨量為15萬塊，與微軟持平，且是其他公司出貨量的3倍。小扎稱，「如果算上英偉達A100和其他AI芯片，到2024年底，Meta將擁有近60萬個GPU等效算力」。

此外，小扎的「元宇宙」信仰還沒有放棄。他提到，AI最終會與智能設備結合，比如Ray-ban智能眼鏡。

30倍GPT-4算力，接近GPT-5水平

在小扎自曝Meta算力之后，Pytorch創始人Soumith Chintala表示，終於可以公開談論GPU數據了。到今年年底，Meta將擁有60萬塊H100等效GPU。他還在此賣關子，讓大家自由猜測，Meta已經部署和正在使用的GPU。

CAIS的負責人驚歎道， 35萬塊H100，這比GPT-4的計算能力高出約30倍，幾乎達到了GPT-5的水平。

還有人給Meta算了一筆賬，「每台H100的成本約為3萬美元，這意味着小扎的公司僅購買算力就需要支付約105億美元，更不用説電費了」。而這僅僅是爲了訓練Llama 3？

另外，有網友預計150-200億美元的算力訓練為推薦系統服務的Llama 3。

圖靈獎巨頭Yann LeCun更是有感而發，今天連發了多條推文。FAIR的使命是開發人類水平的AI助手：是一個能夠理解世界、感知、記憶、推理、計劃和行動系統。在不遠的將來，我們與數字世界的所有互動，都將由AI助手通過智能眼鏡和其他設備來實現。我們需要這些系統具備人類水平的智能，這樣它們才能理解世界、人和工具，從而在日常生活中幫助我們。爲了加快進度，FAIR現已成為人工智能產品部門GenAI的姊妹機構。與此同時，Meta正在建設大規模的計算基礎設施，以支持人工智能的研究、開發和生產。當然，我們也致力於開放研究和開源人工智能平臺（是的，Llama 3就要來了！）。FAIR是世界上將AI研究推進到新水平的最佳研究機構，而Meta則是將AI應推向數十億人羣的最佳公司。

沒有開源AI，就沒有AI創業生態系統。

Meta一直嘗試去做正確的事情。Meta一直在AI領域進行開放研究。Meta一直在推廣開源AI平臺。經過過去一年的多次討論（有時是有爭議的），一個共識正在形成，即開源人工智能平臺是不可避免的、必要的，而且是一件好事。

小扎：全員打造「開源AGI」

最近，Sam Altman在參加的世界經濟論壇中透露，人類水平的AGI即將到來，而且GPT-5正在訓練中。2023年，人工智能領域成為OpenAI微軟的主戰場，GPT-4、Copilot等一系列模型/產品發佈，讓許多大廠望之莫及。谷歌、Meta、蘋果等科技巨頭在AI推陳出新上，已經站在了第二梯隊。凌晨，小扎一則視頻正式官宣，意味着Meta全員已經重振旗鼓，向全力打造開源AGI邁進。在Ins視頻配文中，小扎寫道，

我們的長期願景是構建AGI，負責任地將其開源，並使其廣泛可用，讓每個人都能從中受益。爲了支持這一目標，我們正在將兩大AI研究團隊——FAIR和GenAI緊密結合在一起。Meta目前正在訓練下一代模型Llama 3，並建設大規模的計算基礎設施，以支撐未來路線圖，其中包括到今年年底建成35萬塊H100，如果算上其他GPU，Meta總算力相當於近60萬個H100。此外，我們在構建以AI為中心的新型計算設備（如Ray Ban Meta智能眼鏡）方面取得的進展也讓人非常興奮。

Llama 3匹敵GPT-4，免費開源

關於Meta下一代模型的消息，此前也有傳言稱，Llama 3的實力堪比GPT-4，而且還是免費開源。OpenAI工程師、前谷歌大腦工程師Jason Wei去年8約在Meta組織的Generative AI Group活動中聽説：

Meta有足夠的算力來訓練Llama 3和Llama 4。Llama 3計劃達到GPT-4的性能水平，但仍將免費提供

這次也算是，Meta正式官宣Llama 3訓練中，而且LeCun也表示最新模型很快就會上線。從2023年2月，Llama 1首次面世，到7月Llama 2的升級，Meta花費了大約5個月的時間。當時，Llama 2在某些應用上與GPT-3.5能力相媲美，而且還通過微調，額外功能讓開源社區進行優化。

Llama模型開源后所帶來的是，模型生態大爆發。據Meta統計數據顯示，在世界最大開源社區平臺Hugging Face上，Llama模型的下載量超過3000萬次。其中，僅在過去30天（9月份）內就超過了1000萬次。另外，發佈在Hugging Face的Llama版微調模型，已經多達7000+個。而現在，得知Llama 3在訓練中，AI圈的人興奮不已。

AI團隊重組：成立10年FAIR團隊+GenAI

除了將重點放在開發AGI之外，Meta官宣最引人注目的消息就是：小扎決定將其人工智能研究團隊FAIR納入產品部門。根據Verge的獨家採訪，成立10年FAIR團隊，將併入GenAI團隊。雖然小紮在視頻並未説明，只是透露了兩個團隊將緊密合作。

Meta此舉與谷歌合併兩大AI團隊，別無二致。OpenAI微軟在AI圈名氣大漲讓谷歌瞬間火燒眉毛，去年4月官宣合併DeepMind和谷歌大腦團隊，統稱為Google DeepMind。

2013年12月，在LeCun主導下，Facebook成立了FAIR人工智能實驗室。從成立之初，FAIR的定位便是一個負責研究技術的部門，其研究重點也大多聚焦在解決推理、預測、規劃、無監督學習等底層技術問題上。過去幾年來，在這個實驗室中人才輩出，何愷明、SVM的締造者Vladimir Vapnik、提出隨機梯度下降法的Léon Bottou等AI領域的學者和專家。與此同時，研究成果也是「世界級」AI，包括輕量化和模塊化的深度學習框架Caffe2、PyTorch架構等等。而現在，Meta內部需要戰略調整，全力奔赴AGI。説來，GenAI這一團隊的成立並未官宣。第一次露面還是在Llama 2發佈時，在論文中所有作者下面一行中出現。

GenAI首次以團隊名稱出現未來，FAIR的副總裁Joelle Pineau和首席AI科學家Yann LeCun將向Meta的首席產品官Chris Cox匯報工作。而在此之前，他們是向負責Reality Labs的首席技術官Andrew ‘Boz’ Bosworth匯報。

對此，Cox表示，這一調整強調了AI研究對Meta及其產品長遠成功的核心作用。「通過FAIR和GenAI更加緊密的合作，我們可以擁有一個更加統一的AI研究項目和發展藍圖。其中，Llama將成為我們邁向AGI的主力，同時我們也將簡化新技術或創新AI研究的開發流程，確保在一個日益受到關注的領域中，能夠在法律、政策和品牌形象方面保持一致。」

專訪小扎

問：你將FAIR從Boz所負責的部門轉移到了Chris所負責的部門。這對Reality Labs有何影響？我覺得有些人可能會認為RL將會失去它。

小扎：這絕對不是我的看法。讓我詳細説明這個決定是如何形成的：這其實是Boz的建議。在討論如何統一研究規劃和流程時，Chris、Boz和我進行了交談。Boz表示他在AI方面投入了大量時間。但他認為，與其讓這些問題不斷上報給Chris和Boz，不如讓他們直接參與協調工作。因此，他建議將FAIR移至Chris那里。在以前的模式下，FAIR相對獨立地運作，儘管它屬於Boz負責的部門，但我不確定他們是否真的認為自己是Reality Labs的一部分。我們總是將AI工作和Reality Labs的工作視為兩個不同的領域。Reality Labs可以作為一個獨立的組織獨立運作，而AI則滲透到公司的各個方面。這並不意味着所有的工作以前都集中在一個地方，或者現在都會集中在一個地方。這次調整更具體地説，是將我們的兩個主要研究實驗室並置，以便我們能在這些長期研究領域取得更多進展。在Reality Labs以前的模式中，我不認為FAIR的負責人們會參加Boz的員工會議，它們更像是被作為獨立項目來管理。我認為這次組織內部的調整並不會帶來太大的不同感。而且，鑑於AI對公司的重要性，Boz無論如何都會在這方面投入大量時間，Reality Labs也將繼續涵蓋很多AI相關的項目。

問：你是否注意到，隨着生成式AI的興起，你的個人關注點也隨之轉移了？相對於Reality Labs，你是不是發現自己在AI方面投入了更多時間，還是説這種投入每周都在變化？

小扎：這不僅僅是兩者之間的選擇問題。在2023年，最耗費我時間的是關注如何提高效率，我們改變了公司的運作方式，使其更加高效精煉。這並不意味着我們會回到過去的狀態。但我覺得我們已經建立了一套新的操作規範，現在可以比較順利地繼續進行。這需要一定的工作量，但可能只有去年我在這方面投入的時間的十分之一。對於今年而言，這部分工作減少了，這使得我有更多的時間來專注於產品開發。至於其他需要關注的事項，今年將是一個全球範圍內重要的選舉年。顯然，包括美國在內的選舉，但我認為，從歷史角度來看，今年可能是全球選舉最密集的一年。我認為確保我們在所有的誠信維護工作上做得出色也同樣重要。因此，這方面今年會比以前更受關注。身處一種模式中頗為有趣，不是在削減事務，而是我們又可以專注於創造新的東西。這是一種令人愉悦的狀態。

風險提示: 投資涉及風險，證券價格可升亦可跌，更可變得毫無價值。投資未必一定能夠賺取利潤，反而可能會招致損失。過往業績並不代表將來的表現。在作出任何投資決定之前，投資者須評估本身的財政狀況、投資目標、經驗、承受風險的能力及瞭解有關產品之性質及風險。個別投資產品的性質及風險詳情，請細閲相關銷售文件，以瞭解更多資料。倘有任何疑問，應徵詢獨立的專業意見。