OpenAI的Jalapeño，Nvidia在Hot Chips的關鍵外賣中聯網：BNP

法國巴黎銀行強調了其從Hot Chips會議中獲得的關鍵要點，同時指出代理人工智能是創新的催化劑，這強調了人工智能基礎設施是一個可投資的主題。

卡爾·阿克曼（Karl Ackerman）領導的分析師概述了以下要點。首先，他們表示OpenAI（OPNAI）的定製推理芯片Jalapeño的性能對Broadcom（AVGO）和Celestica（CLS）有利;其次，Alphabet（GOOG）（GOOGL）部門Google承諾每一代生產兩款芯片;第三，AMD計劃在即將推出的人工智能芯片MI500中引入光學器件。

第四，分析師指出，英偉達（Nvidia）的人工智能網絡架構Scale In得到了該公司加速基礎設施芯片BlueField-4 DPU的支持;第五，Meta（META）採用Broadcom的Tomahawk Ultra進行擴展;第六，三星電子（SSNLF）高帶寬存儲器（HBM）的創新，基礎芯片和SK hynix（SKHY）願意使用英特爾（INTC）先進的封裝技術嵌入式多芯片互連橋（EMIB）用於HBM;最后，分析師表示，AMD Helios上每台服務器的網絡接口卡（NIC）連接率高於Nvidia的Vera Rubin，這對光收發器生態系統來説是一個積極因素。

分析師指出，推理的採用正在推動記憶創新。

「當今的內存層次結構面向訓練工作負載，但推理本質上是內存限制的，並且隨着上下文長度和用户數量的增加，KV緩存需求持續增長。因此，我們相信靜態存儲器、3D-RAM、垂直HBM和HBF都在尋求解決靠近（或在）計算處理器的存儲器帶寬、延迟和功耗需求，」Ackerman和他的團隊説。

此外，分析師指出，他們看到越來越多的自定義和推理優化加速器，例如Google TU、Meta MTIA、微軟（MSFT）Maia、OpenAI Jalapeño、Cerebras WSE和Groq LPX。分析師補充道：「我們將新XPU的激增歸因於工作負載多樣性和引人注目的基礎設施經濟性。」

阿克曼和他的團隊還表示，代理處理器正在佔據中心舞臺。分析師指出，隨着工作負載轉向多步驟工作流程，系統瓶頸變成了實時編排和數據處理。每個中央處理器採用不同的方法：Nvidia Vera致力於最大的單線程性能，AMD EPYT Venice採用產品組合方法來解決不同的工作負載，而英特爾Diamond Rapids則以其Fan-out Fabric設計而與衆不同。