OpenAI的Jalapeño，Nvidia在Hot Chips的关键外卖中联网：BNP

法国巴黎银行强调了其从Hot Chips会议中获得的关键要点，同时指出代理人工智能是创新的催化剂，这强调了人工智能基础设施是一个可投资的主题。

卡尔·阿克曼（Karl Ackerman）领导的分析师概述了以下要点。首先，他们表示OpenAI（OPNAI）的定制推理芯片Jalapeño的性能对Broadcom（AVGO）和Celestica（CLS）有利;其次，Alphabet（GOOG）（GOOGL）部门Google承诺每一代生产两款芯片;第三，AMD计划在即将推出的人工智能芯片MI500中引入光学器件。

第四，分析师指出，英伟达（Nvidia）的人工智能网络架构Scale In得到了该公司加速基础设施芯片BlueField-4 DPU的支持;第五，Meta（META）采用Broadcom的Tomahawk Ultra进行扩展;第六，三星电子（SSNLF）高带宽存储器（HBM）的创新，基础芯片和SK hynix（SKHY）愿意使用英特尔（INTC）先进的封装技术嵌入式多芯片互连桥（EMIB）用于HBM;最后，分析师表示，AMD Helios上每台服务器的网络接口卡（NIC）连接率高于Nvidia的Vera Rubin，这对光收发器生态系统来说是一个积极因素。

分析师指出，推理的采用正在推动记忆创新。

“当今的内存层次结构面向训练工作负载，但推理本质上是内存限制的，并且随着上下文长度和用户数量的增加，KV缓存需求持续增长。因此，我们相信静态存储器、3D-RAM、垂直HBM和HBF都在寻求解决靠近（或在）计算处理器的存储器带宽、延迟和功耗需求，”Ackerman和他的团队说。

此外，分析师指出，他们看到越来越多的自定义和推理优化加速器，例如Google TU、Meta MTIA、微软（MSFT）Maia、OpenAI Jalapeño、Cerebras WSE和Groq LPX。分析师补充道：“我们将新XPU的激增归因于工作负载多样性和引人注目的基础设施经济性。”

阿克曼和他的团队还表示，代理处理器正在占据中心舞台。分析师指出，随着工作负载转向多步骤工作流程，系统瓶颈变成了实时编排和数据处理。每个中央处理器采用不同的方法：Nvidia Vera致力于最大的单线程性能，AMD EPYT Venice采用产品组合方法来解决不同的工作负载，而英特尔Diamond Rapids则以其Fan-out Fabric设计而与众不同。