AWS推出下一代AWS設計的芯片

AWS Graviton4是迄今為止適用於各種雲工作負載的最強大、最節能的AWS處理器

AWS Trainium2將支持AWS上的最高性能計算，以更快、更低的成本培訓基礎模型，同時使用更少的能源

使用AWS設計的新芯片的客户中的Anthropic、Databricks、Datadog、Epic、Honeycomb和SAP

在AWS Re：Invent上，Amazon.com，Inc.(納斯達克股票代碼：AMZN)旗下的亞馬遜網絡服務公司(AWS)今天宣佈推出兩個由AWS設計的下一代芯片系列-AWS Graviton4和AWS Trainium2-為包括機器學習(ML)培訓和生成式人工智能(AI)應用在內的廣泛客户工作負載提供性價比和能效方面的進步。Graviton4和Trainium2標誌着AWS在芯片設計方面的最新創新。對於每一代連續的芯片，AWS都提供了更好的性價比和能效，除了採用AMD、英特爾和NVIDIA等第三方最新芯片的芯片/實例組合外，還為客户提供了更多選擇，以在Amazon Elastic Compute Cloud(Amazon EC2)上運行幾乎任何應用程序或工作負載。

本新聞稿以多媒體為特色。點擊此處查看完整版本：https://www.businesswire.com/news/home/20231128145465/en/

AWS負責計算和網絡的副總裁戴維·布朗表示：「硅業支撐着每一個客户的工作負載，使其成為AWS創新的關鍵領域。」通過將我們的芯片設計集中在對客户至關重要的實際工作負載上，我們能夠為他們提供最先進的雲基礎設施。Graviton4是我們在短短五年內交付的第四代產品，也是我們為各種工作負載打造的功能最強大、能效最高的芯片。隨着人們對生成式人工智能的興趣激增，Tranium2將幫助客户以更低的成本和更高的能效更快地訓練他們的ML模型。

Graviton4提高了各種工作負載的性價比和能效標準

今天，AWS在全球範圍內大規模提供150多種不同的基於Graviton的Amazon EC2實例類型，構建了200多萬個Graviton處理器，並擁有超過50,000個客户-包括排名前100的EC2客户-使用基於Graviton的實例為其應用程序實現最佳性價比。包括Datadog、DirecTV、Discovery、一級方程式(F1)、NextRoll、尼爾森、Pinterest、SAP、Snowflake、Sprint Kler、Strike和Zendesk在內的客户使用基於Graviton的實例來運行各種工作負載，如數據庫、分析、Web服務器、批處理、廣告服務、應用程序服務器和微服務。隨着客户將更大的內存數據庫和分析工作負載帶到雲中，他們的計算、內存、存儲和網絡需求也隨之增加。因此，他們需要更高的性能和更大的實例大小來運行這些要求苛刻的工作負載，同時管理成本。此外，客户希望為其工作負載提供更節能的計算選項，以減少其對環境的影響。許多AWS託管服務都支持Graviton，包括Amazon Aurora、Amazon ElastiCache、Amazon EMR、Amazon MemoyDB、Amazon OpenSearch、Amazon Relational數據庫服務(Amazon RDS)、AWS Fargate和AWS Lambda，從而為這些服務的用户帶來了Graviton的性價比優勢。

與Graviton3相比，Graviton4處理器提供高達30%的計算性能、50%的核心數和75%的內存帶寬。通過對所有高速物理硬件接口進行完全加密，Graviton4還提高了安全標準。Graviton4將在內存優化的Amazon EC2 R8G實例中提供，使客户能夠改進其高性能數據庫、內存緩存和大數據分析工作負載的執行。R8G實例提供更大的實例大小，與當前一代R7G實例相比，vCPU和內存分別增加了3倍和3倍。這使客户能夠處理更多的數據、擴展他們的工作負載、縮短見效時間並降低他們的總擁有成本。基於Graviton4的R8G實例今天以預覽版面市，計劃在未來幾個月全面上市。要了解基於Graviton4的R8g實例的更多信息，請訪問aws.amazon.com/ec2/實例類型/r8g。

Trainum2的EC2 UltraCluster旨在雲中提供最高性能、最節能的AI模型培訓基礎架構

當今新興的生成式人工智能應用程序背后的FM和LLM都是在海量數據集上進行培訓的。這些模型使客户能夠通過創建各種新內容(包括文本、音頻、圖像、視頻，甚至軟件代碼)來完全重新想象用户體驗。當今最先進的FM和LLM的參數範圍從數千億到數萬億，需要可靠的高性能計算能力，能夠跨數萬個ML芯片進行擴展。AWS已經提供了採用ML芯片的Amazon EC2實例的最廣泛和最深入的選擇，包括最新的NVIDIA GPU、Tradium和Inferentia2。今天，包括Databricks、Helixon、Money Forward和亞馬遜搜索團隊在內的客户利用Tradium的高性能、可擴展性、可靠性和低成本來培訓大規模深度學習模型。但是，即使擁有當今最快的加速實例，客户也希望獲得更高的性能和規模，以更低的成本更快地訓練這些日益複雜的型號，同時減少他們的能源使用量。

Trainium2芯片專為具有高達萬億參數的FM和LLM的高性能培訓而設計。Trainium2旨在提供比第一代Tradium芯片快4倍的訓練性能和3倍的內存容量，同時將能效(性能功耗比)提高高達2倍。Trainium2將在Amazon EC2 Trn2實例中提供，單個實例中包含16個Tradium芯片。Trn2實例旨在使客户能夠在新一代EC2 UltraCluster中擴展多達100,000個Trainium2芯片，並與AWS彈性結構適配器(EFA)PB級網絡互連，提供高達65 exafloop的計算，並使客户能夠按需獲得超級計算機級的性能。有了這樣的規模，客户可以在幾周而不是幾個月的時間內訓練一個3000億億的LLM參數。通過以顯著較低的成本提供最高的橫向擴展ML培訓性能，Trn2實例可以幫助客户解鎖並加速生成性AI的下一波進步。要了解更多關於Traum的信息，請訪問aws.amazon.com/Machine-Learning/tradium/。

作為負責任地部署生成性人工智能的主要倡導者，Anthropic是一家人工智能安全和研究公司，致力於創建可靠、可解釋和可指導的人工智能系統。自2021年以來一直是AWS客户的人，最近推出了Claude-一款專注於幫助、無害和誠實的人工智能助手。「自從在亞馬遜的基礎上推出以來，Claude很快就被AWS的客户採用了，」Anthropic的聯合創始人湯姆·布朗説。「我們正在與AWS密切合作，使用Tradium芯片開發我們未來的基礎模型。Trainium2將幫助我們大規模地構建和培訓模型，我們預計在一些關鍵工作負載上，它將至少比第一代Tradium芯片快4倍。我們與AWS的合作將幫助各種規模的組織釋放新的可能性，因為他們將Anthropic最先進的人工智能系統與AWS安全可靠的雲技術結合使用。」

全球超過10,000家組織--包括康卡斯特、康泰納仕和超過50%的財富500強企業--依靠數據庫來統一他們的數據、分析和人工智能。「數以千計的客户已經在AWS上實現了Databricks，使他們能夠使用MosaicML針對各種用例對FM進行預培訓、微調和服務，」Databricks負責生成式人工智能的副總裁Naveen Rao説。「AWS Tradium以低成本為我們提供了訓練馬賽克MPT模型所需的規模和高性能。隨着我們訓練我們的下一代馬賽克MPT模型，Trainium2將使我們有可能更快地構建模型，使我們能夠為我們的客户提供前所未有的規模和性能，這樣他們就可以更快地將他們自己的生產性AI應用程序推向市場。」

Datadog是一個可觀察性和安全性平臺，可提供跨組織的全面可見性。Datadog首席工程師Laurent Bernaille表示：「在Datadog，我們運行着數以萬計的節點，因此平衡性能和成本效益極其重要。這就是為什麼我們已經在Graviton上運行了一半的Amazon EC2機羣。」「將基於Graviton4的實例無縫集成到我們的環境中，立即提升了我們的性能，我們期待着在Graviton4正式上市時使用它。」

Epic是一家領先的互動娛樂公司和3D引擎技術提供商。EPIC運營着世界上最大的遊戲之一--堡壘之夜，擁有超過3.5億個賬户和25億個好友。「AWS Graviton4實例是我們測試過的最快的EC2實例，它們在我們競爭最激烈、對延迟最敏感的工作負載中提供了卓越的性能，」Epic首席雲工程師羅曼·維辛廷説。我們期待着使用引力4來改善球員體驗，拓展堡壘之夜的潛力。

蜂巢是一個可觀察性平臺，使工程團隊能夠發現和解決以前無法發現的問題。Honeycomb現場CTO Liz Fong-Jones表示：「我們很高興能夠評估基於AWS Graviton4的R8G實例。」「在最近的測試中，與基於Graviton3的C7g/M7g/R7g實例相比，我們基於Go的OpenTelemeter數據獲取工作負載在基於Graviton4的R8g實例上需要的副本減少了25%-此外，中位延迟改善了20%，第99%的延迟改善了10%。我們期待着在基於Graviton4的實例正式上市后利用它們。」

SAP HANA Cloud是SAP的雲原生內存數據庫，是SAP業務技術平臺(SAP BTP)的數據管理基礎。SAP SE首席技術官兼執行董事會成員Juergen Mueller表示：「客户依賴SAP HANA Cloud在雲中運行其任務關鍵型業務流程和下一代智能數據應用程序。作為SAP HANA Cloud向基於AWS Graviton的Amazon EC2實例遷移過程的一部分，我們已經看到分析工作負載的性價比提高了35%。在接下來的幾個月里，我們期待着驗證Graviton 4，以及它可以為我們的共同客户帶來的好處。