热门资讯> 正文
2025-11-24 14:01
新闻要点:
加州圣克拉拉,2025年11月24日(GLOBE NEWSWIRE)—— AMD (纳斯达克股票代码:AMD)宣布,Zyphra 凭借 ZAYA1 的开发,在人工智能模型大规模训练领域取得了重大里程碑式的进展。ZAYA1 是首个使用 AMD GPU 和网络平台训练的大规模混合专家(MoE)基础模型。该成果利用了 AMD Instinct™ MI300X GPU 和 AMD Pensando™ 网络,并由 AMD ROCm™ 开源软件栈提供支持。Zyphra 今天发布的技术报告详细介绍了这一成果。
Zyphra 的测试结果表明,该模型在推理、数学和编码基准测试中均能与领先的开放模型相媲美或更胜一筹,这证明了 AMD Instinct GPU 在生产规模 AI 工作负载方面的可扩展性和效率。
AMD人工智能事业部人工智能与工程副总裁Emad Barsoum表示:“AMD在加速计算领域的领先地位,正助力像Zyphra这样的创新者不断突破人工智能的极限。这一里程碑式的成就充分展现了AMD Instinct GPU和Pensando网络在训练复杂、大规模模型方面的强大功能和灵活性。”
Zyphra首席执行官Krithik Puthalath表示:“效率一直是Zyphra的核心指导原则。它指导着我们如何设计模型架构、开发训练和推理算法,以及如何选择性价比最高的硬件,从而为客户提供前沿智能。ZAYA1体现了这一理念,我们非常高兴成为首家在AMD平台上展示大规模训练的公司。我们的成果凸显了将模型架构与芯片和系统协同设计的强大优势,我们期待与AMD和IBM深化合作,共同构建下一代先进的多模态基础模型。”
由 AMD Instinct GPU 提供支持的高效大规模训练
AMD Instinct MI300X GPU 的 192 GB 高带宽显存实现了高效的大规模训练,避免了代价高昂的专家或张量分片,从而降低了模型复杂度,并提高了整个模型栈的吞吐量。Zyphra 还报告称,使用 AMD 优化的分布式 I/O,模型保存速度提升了 10 倍以上,进一步增强了训练的可靠性和效率。仅使用一小部分活跃参数,ZAYA1-Base(总参数 83 亿,活跃参数 7.6 亿)的性能就达到了甚至超过了 Qwen3-4B(阿里巴巴)、Gemma3-12B(谷歌)、Llama-3-8B(Meta)和 OLMoE等模型。
在前期合作的基础上,Zyphra 与 AMD 和 IBM 紧密合作,设计并部署了一个由 AMD Instinct™ GPU 和 AMD Pensando™ 网络互连支持的大规模训练集群。这套由 AMD 和 IBM 联合设计的系统已于本季度早些时候发布,它将 AMD Instinct™ MI300X GPU 与 IBM Cloud 的高性能网络和存储架构相结合,为 ZAYA1 的大规模预训练奠定了基础。
有关结果的更多详细信息,请阅读Zyphra 技术报告、 Zyphra 博客和AMD 博客,其中全面概述了 ZAYA1 模型架构、训练方法以及支持其开发的 AMD 技术。
支持资源
关于 AMD
50多年来,AMD始终致力于推动高性能计算、图形和可视化技术的创新。全球数十亿用户、众多财富500强企业以及尖端科研机构每天都依赖AMD技术来改善他们的生活、工作和娱乐方式。AMD员工专注于打造领先的高性能自适应产品,不断突破技术极限。欲了解更多关于AMD如何赋能当下、启迪未来的信息,请访问AMD(纳斯达克股票代码:AMD)官网、博客、 LinkedIn和X页面。
接触:
大卫·萨巴多斯
AMD通信
+1 408-472-2439
david.szabados@amd.com
莉兹·斯泰恩
AMD投资者关系
+1 720-652-3965
liz.stine@amd.com
_________________________
1. Zyphra 于 2025 年 11 月 14 日进行了测试,测量了整个 Zyphra 集群上训练迭代的总吞吐量,单位为每秒千万亿次浮点运算 (PFLOPs)。工作负载是在包含 128 个计算节点的整个集群上训练一个由一系列连续 MLP 组成的模型,每个节点包含 8 个 AMD Instinct™ MI300X GPU 和 8 个 Pensando™ Pollara 400 互连,运行 Zyphra 开发的专有训练堆栈。服务器制造商可能会改变配置,从而导致不同的结果。性能可能会因使用最新驱动程序和优化而有所不同。此基准测试使用 AMD ROCm 6.4 收集。