來源：新智元

英偉達最好的芯片H100，在2024年之前就會售罄！

這一消息，讓AI初創公司們開始揪心了。

現在，我們已經進入了一個GPU至上的時代。

英偉達的芯片，現在已經成爲了科技行業最寶貴的資源。

無論是大廠還是初創企業，都在瘋狂地把預算從其他項目轉到AI項目上，對GPU的需求日益旺盛。

臺積電：所有產品需求都降低了，除了英偉達的芯片

作為全球最大的合同芯片製造商，臺積電在上個月公佈收益時表示：現在幾乎所有產品的需求都減弱了，唯一的一個例外，是AI芯片。

臺積電為英偉達製造的圖形處理單元GPU，主導着AI應用的半導體市場。

英偉達的高端H100 GPU非常適合訓練AI模型、服務客户所需的並行式計算。而如今隨着生成式AI的熱潮，H100已經出現了大量短缺。

4月，GPU市場忽然緊俏起來

根據《巴倫周刊》的採訪，CoreWeave的聯合創始人兼首席技術官Brian Venturo表示，在今年第一季度，保證供應鏈中GPU的分配和容量還很容易。

但是從4月開始，市場忽然變得異常緊張。交貨時間甚至推迟到了年底。

而這種轉變，發生在僅僅一周之內。

大型企業和人工智能實驗室的GPU需求，忽然出現了猛增。

而英偉達最頂級的H100，在當前的環境下，甚至已經買不到了。

英偉達快壟斷了？

為什麼客户要求購買的是英偉達的AI芯片，而不是AMD和其他雲供應商的產品呢？

表示，英偉達的護城河是雙重的。

首先，在硬件方面，沒有人像英偉達那樣製造芯片。

其次，是在軟件上。上市時間對於初創企業來説非常重要。如果用AMD或TPU（谷歌的張量處理單元）重裝整個技術堆棧，就會耽誤寶貴的時間，可能會讓人失去潛在的市場機會。

英偉達在CUDA生態系統上投入如此之多，是非常有先見之明的。

可以説，他們現在基本上比要比其他人領先10年。

這不僅僅是英偉達花了10年做的工作，而且是他們的客户和開發者CUDA生態系統上（使用軟件工具和庫），利用了前人的工作。

短期內，沒有誰能超越英偉達。

另外，使用谷歌的TPU的問題，被鎖定在具有具體技術解決方案的供應商身上。

作為一家初創公司，這或許不是最佳選擇。他們需要的是具有靈活性的供應商，可以讓他們在多個地方獲得同樣的東西。

而英偉達的專有網絡InfiniBand提供了當今最好的解決方案，以最大程度地減少延迟。許多其他產品不具備擁塞控制和功能，無法使工作負載發揮最佳性能。

而現在，AI初創公司都很擔心：當他們取得商業成功時，或許無法擁有足夠的GPU來讓模型推理。

這種需求會讓基礎設施服務商興奮，但是從初創公司戰略的角度來講，如何穩妥獲取對算力的訪問，幾乎成了一種二元的風險業務。

英偉達GPU已陷短缺風暴

「誰將獲得多少H100，何時獲得H100，都是硅谷中最熱門的話題。」

OpenAI聯合創始人兼職科學家Andrej Karpathy近日也曾發文，闡述了自己對英偉達GPU短缺的看法。

近來，社區廣為流傳的一張圖「我們需要多少張GPU」，引發了眾多網友的討論。

根據圖中內容所示：

- GPT-4可能在大約10000-25000張A100上進行了訓練

- Meta大約21000 A100- Tesla大約7000 A100

- Stability AI大約5000 A100

- Falcon-40B在384個A100上進行了訓練

– Inflection使用了3500和H100，來訓練與GPT-3.5能力相當的模型

另外，根據馬斯克的説法，GPT-5可能需要30000-50000個H100。

此前，摩根士丹利曾表示GPT-5使用25000個GPU，自2月以來已經開始訓練，不過Sam Altman之后澄清了GPT-5尚未進行訓。

不過，Altman此前表示，

我們的GPU非常短缺，使用我們產品的人越少越好。

如果人們用的越少，我們會很開心，因為我們沒有足夠的GPU。

據分析人士推測，小型和大型雲提供商的大規模H100集羣容量即將耗盡，H100的需求趨勢至少會持續到2024年底。

總之，老黃是贏麻了。

編輯/lambor