热门资讯> 正文
2025-11-24 14:01
新闻亮点:
加利福尼亚州圣巴巴拉,2025年11月24日(环球新闻)-- AMD(纳斯达克股票代码:AMD)宣布,Zyphra通过开发ZAYA 1(第一个使用AMD图形处理器和网络平台训练的大规模专家混合(MoE)基础模型),在大规模人工智能模型训练方面取得了重大里程碑。使用AMD Instinct™ MI 300 X图形处理器和AMD Pensando™网络并由AMD ROCom ™开放软件栈支持,今天发布的Zyphra技术报告详细介绍了这一成就。
Zyphra的结果表明,该模型在推理、数学和编码基准方面为领先的开放模型提供了有竞争力或卓越的性能,展示了AMD Instinct图形处理器用于生产规模人工智能工作负载的可扩展性和效率。
AMD人工智能集团人工智能和工程企业副总裁Emad Barsoum表示:“AMD在加速计算方面的领导地位正在使Zyphra等创新者能够突破人工智能领域的极限。”“这一里程碑展示了AMD Instinct图形处理器和Pensando网络在训练复杂、大规模模型方面的强大功能和灵活性。”
“效率一直是Zyphra的核心指导原则。它决定了我们如何设计模型架构、开发训练和推理算法,以及选择性价比最佳的硬件来向我们的客户提供前沿智能,”Zyphra首席执行官Kristik Puthalath说。“ZAYA 1反映了这一理念,我们很高兴成为第一家在AMD平台上展示大规模培训的公司。我们的结果凸显了利用芯片和系统共同设计模型架构的力量,我们很高兴能够在构建下一代先进的多模式基础模型时深化与AMD和IBM的合作。”
由AMD Instinct图形处理器提供支持的大规模高效培训AMD Instinct MI 300 X图形处理器的192 GB高带宽内存支持高效的大规模训练,避免了昂贵的专家或张量分片,从而降低了复杂性并提高了整个模型堆栈的吞吐量。Zyphra还报告称,使用AMD优化的分布式I/O,模型节省时间提高了10倍以上,进一步提高了培训的可靠性和效率。ZAYA 1-Base(总计8.3B,760 M活跃)仅使用一小部分活动参数,即可与Qwen 3 - 4 B(阿里巴巴)、Gemma 3 - 12 B(谷歌)、Llama-3-8B(Meta)和OLMoE.1等型号的性能相匹配或超过
在之前的合作工作的基础上,Zyphra与AMD和IBM密切合作,设计和部署了一个由带有AMD Pensando™网络互连的AMD Instinct™图形处理器提供支持的大规模培训集群。本季度早些时候宣布的AMD和IBM联合设计的系统将AMD Instinct™ MI 300 X图形处理器与IBM Cloud的高性能结构和存储架构相结合,为ZAYA 1的大规模预训练奠定了基础。
有关结果的更多详细信息,请阅读Zyphra技术报告、Zyphra博客和AMD博客,全面概述ZAYA 1模型架构、训练方法和支持其开发的AMD技术。
配套资源
关于AMD 50多年来,AMD一直推动高性能计算、图形和可视化技术的创新。世界各地数十亿人、领先的财富500强企业和尖端科学研究机构每天都依赖AMD技术来改善他们的生活、工作和娱乐方式。AMD员工专注于打造领导力的高性能和自适应产品,以突破可能的界限。有关AMD如何实现今天和鼓舞明天的更多信息,请访问AMD(NASDAQ:AMD)网站、博客、LinkedIn和X页面。
联系人:David Szabados AMD Communications +1 408-472-2439 david. amd.com
Liz Stine AMD投资者关系+1 720-652-3965 liz. amd.com
_ 1 Zyphra截至2025年11月14日进行的测试,测量整个Zyphra集群中训练迭代的总吞吐量,以每秒千次浮点运算(PFLOP)为单位测量。工作负载正在训练一个模型,该模型由BFLOAT 16中的一组后续MLP组成,跨(128)个计算节点的整个集群,每个节点包含(8)AMD Instinct™ MI 300 X图形处理器和(8)Pensando™ Pollara 400互连,运行Zyphra创建的专有训练堆栈。服务器制造商可能会改变配置,从而产生不同的结果。性能可能会根据最新驱动程序和优化的使用而有所不同。此基准测试是使用AMD ROCm 6.4收集的。