AMD MI300絕殺英偉達H100？跑GPT-4性能超25%，AI芯片大決戰一觸即發

來源：新智元

AI芯片大決戰，即將來臨！

AI硬件開發商初創公司的未來會怎樣？

Tenstorrent CEO David Bennett直言不諱地表示，在我們這個行業，大部分初創公司的結局就是倒閉。

該如何生存？他建議初創企業應該保持靈活性，避免將自己侷限在狹隘的用例中。

這里，Bennett指的並不是某個小眾市場， 而是由SiMa.ai到Cerebras等數十家公司組成的一個廣泛集團。他們共同籌集了數十億美元的風投，來對抗這個市場的領導者——$英偉達(NVDA.US)$。

Bennett深諳此道。他曾在AMD從事銷售工作十多年。

而他目前的僱主Tenstorrent的CEO，是Jim Keller，一位硬件傳奇人物。他曾開發出支持iPhone 4和iPad 2的蘋果A4和A5處理器，並在2016年至2018年負責特斯拉自動駕駛汽車的硬件工作。

Tenstorrent公司已經從富達風投和現代汽車等投資者籌集了超過3億美元的資金，它遵循了Bennett的建議：從芯片到雲計算等，提供一切服務。

Bennett表示，如今的芯片初創公司，大致都是在「為AI製造專用硬件」和「依賴當下流行模式」這兩者之間徘徊。

英偉達的劣勢：很難從頭製造芯片

英偉達的AI芯片GPU起家的故事，實際上為今天的芯片初創公司提供了優勢。

圖形處理單元起初是為計算機圖形學提供動力的，但由於它能並行執行多種計算，纔在AI應用領域大放異彩。

不過，但這一意外也給英偉達帶來了不利因素——現在，英偉達很難在不影響現有GPU業務的情況下，從頭開始製造芯片了，而這，就給了新興初創公司提供了機會，製造專為AI打造的新硬件。

比如，Tenstorrent的工程師就為未來的稀疏神經網絡設計了Grayskull芯片，在這種網絡中，冗余信息可以被去除。

儘管如此，Bennett認為，專注於為大語言模型構建芯片的初創公司，和Transformer架構捆綁得太緊了。

在這種架構下，基於Transformer的模型基本是在預測最有可能出現的下一個單詞，因此它們一直被詬病生成的回答是基於概率，而非基於推理。

這也就意味着，在當前的AI熱潮中，這些模型架構可能無法倖存下來。

畢竟，由於發展速度太快，如今的LLM壽命相對較短。昨天還炙手可熱的模型，一兩周后可能就會銷聲匿跡。

另一個對硬件公司來説風險很大的領域，就是製造專門用於推理的芯片。

這方面的代表是芯片開發商d-Matrix，它計劃在明年上半年發佈推理專用芯片。

乍一看，這個策略似乎不錯。生成式AI應用的用户現在會越來越多地利用現有的專有或開源模型，而不是從頭開始構建自己的模型。

正因如此，許多人認為，應該在模型推理上花更多錢，而非模型訓練上。

雖然從商業角度來看，這可能是一個明智之舉，但Bennett認為，過於狹隘地專注於推理，會阻礙硬件開發人員為其他可能更受歡迎的用例提供服務。

例如，對於運行模型所需的低精度計算，純推理芯片就夠了。

但是，如果開發者想要微調大模型，就很可能需要能處理更高精度計算的芯片了。

尖端芯片，把GPU和CPU放在一起

爲了在即將到來的AI芯片大決戰中倖存，芯片開發商需要改變芯片的架構。

今天，大多數芯片都是把GPU和CPU分開的。前者能夠同時執行多種計算，后者負責執行更多的通用指令，管理更廣泛的系統操作。

然而越來越多的尖端芯片（如英偉達的Grace Hopper 超級芯片和$美國超微公司(AMD.US)$即將推出的MI300A），都將GPU和CPU放在一起。

這種佈局可以讓CPU更快地準備數據，將數據加載到GPU上，從而加快模型的訓練。

另外，硬件初創公司想要打破英偉達的市場主導地位，還面臨着一個最大的障礙，就是軟件優勢。

英偉達用於編寫機器學習應用程序的Cuda軟件，只能在自家芯片上運行。而這實際上就把開發者鎖定在了英偉達GPU上。

AMD MI300跑GPT-4更6

英偉達的霸主地位，就這麼難以撼動？

Semianalysis記者Dylan Patel和Myron Xie最近就發文稱，AMD的MI300在性價比方面，將會明顯優於英偉達的H100！

他們表示，隨着新一代MI300的推出，AMD即將成為英偉達和谷歌在LLM推理領域唯一的競爭對手。

相比之下，Groq、SambaNova、$英特爾(INTC.US)$、$亞馬遜(AMZN.US)$、$微軟(MSFT.US)$等公司仍無法與之抗衡。

此外，爲了應對英偉達基於CUDA構建的護城河，AMD一直在大力投資自己的RoCM軟件、PyTorch生態系統和OpenAI的Triton。

隨着Databricks、AI21、Lamini、Moreph等公司開始使用AMD GPU進行推理/訓練，AMD自己的生態也愈發完善。

據業內人士透露，擁有更大顯存的MI300，在部署32K上下文窗口的GPT-4模型時效果更好。

具體來説，與H100相比，MI300的性能優勢在20%到25%之間，具體取決於上下文長度和提示長度/每次查詢輸出的token數量。

再加上更低廉的價格，MI300在性價比方面，將會明顯優於英偉達的H100，甚至是H200。

大廠紛紛下單

目前，微軟、$Meta Platforms(META.US)$、$甲骨文(ORCL.US)$、$谷歌-C(GOOG.US)$、Supermicro/Quantadirect、亞馬遜等公司已經向AMD下了大約205,000台MI300的訂單。

在這之中，有120,000台專門供應給微軟，25,000台給Meta，12,000台給甲骨文，8,000台給谷歌，5,000台給亞馬遜公司，35,000台給其他公司。

而且由於數量巨大，微軟購買MI300的價格預計要比其他客户低上不少。

爲了計算MI300在明年為AMD帶來的收入，需要從兩個角度進行分析：AMD能確保多少供應量，以及主要客户會訂購多少。

在供應方面，MI300的產能將在年內逐步提升，但由於英偉達B100會在第二季度開始出貨，並在第三季度隨着性價比更高的風冷版的推出而大幅提升，這將在很大程度上影響AMD在第四季度的出貨量。

同時，還需要考慮內存製造商的HBM產量、CoWoS產量、封裝產量以及使用CoWoS生產的每種加速器的情況，包括英偉達、AMD、Google/Broadcom、Meta/Broadcom、Intel/Al Chip、Amazon/Al Chip、Amazon/Marvell、Microsoft/GUC等。

即便如此，業內依然認為MI300X第四季度的出貨量可以達到110,000台。

客户方面，微軟、Meta、甲骨文、谷歌、Supermicro/Quantadirect和亞馬遜是訂單的主要來源，但也有一些訂單來自供應鏈的其他部分，包括一些用於HPC型應用的MI300A。

利潤方面，英偉達並沒有降價的跡象，只是在價格不變的情況下增加了HBM容量/帶寬。而與英偉達超過80%的利潤率相比，AMD在MI300上的利潤率僅勉強超過了50%。

AMD首席執行官蘇姿豐表示，基於公司在AI方面的快速進展以及雲計算客户的購買承諾，數據中心GPU的收入預計將在第四季度達到4億美元，2024年將超過20億美元。

這一增長也將使MI300成為AMD歷史上銷售額最快達到10億美元的產品。

對此，業內對於MI300X的銷售額則更加樂觀——預期可以達到35億美元。

從AMD目前在LLM訓練和推理領域小於0.1%的市場份額來看，AMD在數據中心領域的市場份額依然會穩步增長。

參考資料：

https://www.theinformation.com/articles/an-ai-chip-armageddon-is-coming-biden-punts-on-open-source-llms?rc=epv9gi

https://www.semianalysis.com/p/amd-mi300-ramp-gpt-4-performance

編輯/Somer