AWS推出下一代AWS设计的芯片

AWS Graviton4是迄今为止适用于各种云工作负载的最强大、最节能的AWS处理器

AWS Trainium2将支持AWS上的最高性能计算，以更快、更低的成本培训基础模型，同时使用更少的能源

使用AWS设计的新芯片的客户中的Anthropic、Databricks、Datadog、Epic、Honeycomb和SAP

在AWS Re：Invent上，Amazon.com，Inc.(纳斯达克股票代码：AMZN)旗下的亚马逊网络服务公司(AWS)今天宣布推出两个由AWS设计的下一代芯片系列-AWS Graviton4和AWS Trainium2-为包括机器学习(ML)培训和生成式人工智能(AI)应用在内的广泛客户工作负载提供性价比和能效方面的进步。Graviton4和Trainium2标志着AWS在芯片设计方面的最新创新。对于每一代连续的芯片，AWS都提供了更好的性价比和能效，除了采用AMD、英特尔和NVIDIA等第三方最新芯片的芯片/实例组合外，还为客户提供了更多选择，以在Amazon Elastic Compute Cloud(Amazon EC2)上运行几乎任何应用程序或工作负载。

本新闻稿以多媒体为特色。点击此处查看完整版本：https://www.businesswire.com/news/home/20231128145465/en/

AWS负责计算和网络的副总裁戴维·布朗表示：“硅业支撑着每一个客户的工作负载，使其成为AWS创新的关键领域。”通过将我们的芯片设计集中在对客户至关重要的实际工作负载上，我们能够为他们提供最先进的云基础设施。Graviton4是我们在短短五年内交付的第四代产品，也是我们为各种工作负载打造的功能最强大、能效最高的芯片。随着人们对生成式人工智能的兴趣激增，Tranium2将帮助客户以更低的成本和更高的能效更快地训练他们的ML模型。

Graviton4提高了各种工作负载的性价比和能效标准

今天，AWS在全球范围内大规模提供150多种不同的基于Graviton的Amazon EC2实例类型，构建了200多万个Graviton处理器，并拥有超过50,000个客户-包括排名前100的EC2客户-使用基于Graviton的实例为其应用程序实现最佳性价比。包括Datadog、DirecTV、Discovery、一级方程式(F1)、NextRoll、尼尔森、Pinterest、SAP、Snowflake、Sprint Kler、Strike和Zendesk在内的客户使用基于Graviton的实例来运行各种工作负载，如数据库、分析、Web服务器、批处理、广告服务、应用程序服务器和微服务。随着客户将更大的内存数据库和分析工作负载带到云中，他们的计算、内存、存储和网络需求也随之增加。因此，他们需要更高的性能和更大的实例大小来运行这些要求苛刻的工作负载，同时管理成本。此外，客户希望为其工作负载提供更节能的计算选项，以减少其对环境的影响。许多AWS托管服务都支持Graviton，包括Amazon Aurora、Amazon ElastiCache、Amazon EMR、Amazon MemoyDB、Amazon OpenSearch、Amazon Relational数据库服务(Amazon RDS)、AWS Fargate和AWS Lambda，从而为这些服务的用户带来了Graviton的性价比优势。

与Graviton3相比，Graviton4处理器提供高达30%的计算性能、50%的核心数和75%的内存带宽。通过对所有高速物理硬件接口进行完全加密，Graviton4还提高了安全标准。Graviton4将在内存优化的Amazon EC2 R8G实例中提供，使客户能够改进其高性能数据库、内存缓存和大数据分析工作负载的执行。R8G实例提供更大的实例大小，与当前一代R7G实例相比，vCPU和内存分别增加了3倍和3倍。这使客户能够处理更多的数据、扩展他们的工作负载、缩短见效时间并降低他们的总拥有成本。基于Graviton4的R8G实例今天以预览版面市，计划在未来几个月全面上市。要了解基于Graviton4的R8g实例的更多信息，请访问aws.amazon.com/ec2/实例类型/r8g。

Trainum2的EC2 UltraCluster旨在云中提供最高性能、最节能的AI模型培训基础架构

当今新兴的生成式人工智能应用程序背后的FM和LLM都是在海量数据集上进行培训的。这些模型使客户能够通过创建各种新内容(包括文本、音频、图像、视频，甚至软件代码)来完全重新想象用户体验。当今最先进的FM和LLM的参数范围从数千亿到数万亿，需要可靠的高性能计算能力，能够跨数万个ML芯片进行扩展。AWS已经提供了采用ML芯片的Amazon EC2实例的最广泛和最深入的选择，包括最新的NVIDIA GPU、Tradium和Inferentia2。今天，包括Databricks、Helixon、Money Forward和亚马逊搜索团队在内的客户利用Tradium的高性能、可扩展性、可靠性和低成本来培训大规模深度学习模型。但是，即使拥有当今最快的加速实例，客户也希望获得更高的性能和规模，以更低的成本更快地训练这些日益复杂的型号，同时减少他们的能源使用量。

Trainium2芯片专为具有高达万亿参数的FM和LLM的高性能培训而设计。Trainium2旨在提供比第一代Tradium芯片快4倍的训练性能和3倍的内存容量，同时将能效(性能功耗比)提高高达2倍。Trainium2将在Amazon EC2 Trn2实例中提供，单个实例中包含16个Tradium芯片。Trn2实例旨在使客户能够在新一代EC2 UltraCluster中扩展多达100,000个Trainium2芯片，并与AWS弹性结构适配器(EFA)PB级网络互连，提供高达65 exafloop的计算，并使客户能够按需获得超级计算机级的性能。有了这样的规模，客户可以在几周而不是几个月的时间内训练一个3000亿亿的LLM参数。通过以显著较低的成本提供最高的横向扩展ML培训性能，Trn2实例可以帮助客户解锁并加速生成性AI的下一波进步。要了解更多关于Traum的信息，请访问aws.amazon.com/Machine-Learning/tradium/。

作为负责任地部署生成性人工智能的主要倡导者，Anthropic是一家人工智能安全和研究公司，致力于创建可靠、可解释和可指导的人工智能系统。自2021年以来一直是AWS客户的人，最近推出了Claude-一款专注于帮助、无害和诚实的人工智能助手。“自从在亚马逊的基础上推出以来，Claude很快就被AWS的客户采用了，”Anthropic的联合创始人汤姆·布朗说。“我们正在与AWS密切合作，使用Tradium芯片开发我们未来的基础模型。Trainium2将帮助我们大规模地构建和培训模型，我们预计在一些关键工作负载上，它将至少比第一代Tradium芯片快4倍。我们与AWS的合作将帮助各种规模的组织释放新的可能性，因为他们将Anthropic最先进的人工智能系统与AWS安全可靠的云技术结合使用。”

全球超过10,000家组织--包括康卡斯特、康泰纳仕和超过50%的财富500强企业--依靠数据库来统一他们的数据、分析和人工智能。“数以千计的客户已经在AWS上实现了Databricks，使他们能够使用MosaicML针对各种用例对FM进行预培训、微调和服务，”Databricks负责生成式人工智能的副总裁Naveen Rao说。“AWS Tradium以低成本为我们提供了训练马赛克MPT模型所需的规模和高性能。随着我们训练我们的下一代马赛克MPT模型，Trainium2将使我们有可能更快地构建模型，使我们能够为我们的客户提供前所未有的规模和性能，这样他们就可以更快地将他们自己的生产性AI应用程序推向市场。”

Datadog是一个可观察性和安全性平台，可提供跨组织的全面可见性。Datadog首席工程师Laurent Bernaille表示：“在Datadog，我们运行着数以万计的节点，因此平衡性能和成本效益极其重要。这就是为什么我们已经在Graviton上运行了一半的Amazon EC2机群。”“将基于Graviton4的实例无缝集成到我们的环境中，立即提升了我们的性能，我们期待着在Graviton4正式上市时使用它。”

Epic是一家领先的互动娱乐公司和3D引擎技术提供商。EPIC运营着世界上最大的游戏之一--堡垒之夜，拥有超过3.5亿个账户和25亿个好友。“AWS Graviton4实例是我们测试过的最快的EC2实例，它们在我们竞争最激烈、对延迟最敏感的工作负载中提供了卓越的性能，”Epic首席云工程师罗曼·维辛廷说。我们期待着使用引力4来改善球员体验，拓展堡垒之夜的潜力。

蜂巢是一个可观察性平台，使工程团队能够发现和解决以前无法发现的问题。Honeycomb现场CTO Liz Fong-Jones表示：“我们很高兴能够评估基于AWS Graviton4的R8G实例。”“在最近的测试中，与基于Graviton3的C7g/M7g/R7g实例相比，我们基于Go的OpenTelemeter数据获取工作负载在基于Graviton4的R8g实例上需要的副本减少了25%-此外，中位延迟改善了20%，第99%的延迟改善了10%。我们期待着在基于Graviton4的实例正式上市后利用它们。”

SAP HANA Cloud是SAP的云原生内存数据库，是SAP业务技术平台(SAP BTP)的数据管理基础。SAP SE首席技术官兼执行董事会成员Juergen Mueller表示：“客户依赖SAP HANA Cloud在云中运行其任务关键型业务流程和下一代智能数据应用程序。作为SAP HANA Cloud向基于AWS Graviton的Amazon EC2实例迁移过程的一部分，我们已经看到分析工作负载的性价比提高了35%。在接下来的几个月里，我们期待着验证Graviton 4，以及它可以为我们的共同客户带来的好处。