英特爾針對阿里雲通義千問2模型進行優化

一直以來，英特爾致力於與行業領先、創新的生態夥伴開展合作，並針對AI模型進行優化。近日，英特爾宣佈其數據中心、客户端和邊緣的AI解決方案為阿里雲通義千問2（Qwen2）的全球發佈提供支持。

英特爾公司副總裁兼數據中心與人工智能軟件總經理Pallavi Mahajan和英特爾數據中心與人工智能集團副總裁兼中國區總經理陳葆立表示，在阿里雲推出通義千問2大模型的當日，英特爾即為客户和開發人員提供了針對該AI模型和軟件而優化的AI解決方案。

軟件優化

爲了最大限度地提升諸如阿里雲通義千問2的大模型效率，全面的軟件優化非常重要，其中包括從高性能融合算子到平衡精度和速度的先進量化技術。此外，英特爾還採用KV Caching、PagedAttention機制和張量並行來提高推理效率。英特爾的硬件可利用軟件框架和工具包進行加速，並獲得出色的大模型推理性能，其中包括PyTorch和英特爾PyTorch擴展包、OpenVINO工具包、DeepSpeed、Hugging Face庫和vLLM。

英特爾與阿里雲在數據中心、客户端以及邊緣平臺上的AI軟件優化，有助於構建一個創新的生態環境，且截至目前，已取得了包括ModelScope、阿里雲PAI、OpenVINO等在內的諸多創新成果。得益於此，阿里雲AI模型可在多樣化的計算環境中進行優化。

測試結果：英特爾Gaudi AI加速器

英特爾GaudiAI加速器專為生成式AI以及大模型的高性能加速而設計。使用最新版本的英特爾Gaudi Optimum，可以輕松部署新型號的大模型。在英特爾Gaudi2上對70億參數和720億參數的通義千問2模型的推理和微調吞吐量進行了基準測試，以下為詳細性能指標和測試結果。

表1.70億參數的通義千問2在單顆英特爾Gaudi2加速器上的推理

表2.720億參數的通義千問2在8顆英特爾Gaudi2加速器上的推理

表3.通義千問2FP8在英特爾Gaudi2加速器上的推理

表4.通義千問2在英特爾Gaudi2加速器上的微調

測試結果：英特爾至強處理器

英特爾至強處理器作為通用計算的基石，為全球範圍內的用户提供強大的算力。英特爾至強處理器具有廣泛可用性，適用於各個規模的數據中心，這使其成為那些希望能夠快速部署AI解決方案，又無需配備專項基礎設施企業的理想選擇。英特爾至強處理器的每個核心均內置了英特爾®高級矩陣擴展（英特爾AMX），可處理多樣化的AI工作負載並加速AI推理。下圖展現了英特爾至強處理器所提供的延迟性能可滿足多種用例。

圖1.在基於第五代英特爾至強可擴展處理器的阿里雲ecs.ebmg8i.48xlarge實例上，通義千問2的下一個推理token延迟

AI PC

由最新英特爾酷睿Ultra處理器和英特爾鋭炫顯卡驅動的AI PC讓AI的力量觸及客户端和邊緣，使開發者在本地也能部署大模型。AI PC配備了專門的AI硬件，如神經處理單元和內置的英特爾鋭炫顯卡，或配備了英特爾Xe Matrix Extensions加速的英特爾鋭炫A系列顯卡，以處理高需求的邊緣AI任務。這種本地處理能力可實現個性化的AI體驗，增強隱私性，並提供快速響應時間，這對於交互式應用程序至關重要。

以下展示了15億參數的通義千問2，在基於英特爾酷睿Ultra的AI PC上運行時所展現的強大性能。

Demo1. 在內置英特爾鋭炫顯卡的英特爾酷睿Ultra7 165H上，通義千問2的推理

表2.在內置英特爾鋭炫顯卡的英特爾酷睿Ultra7 165H AI PC上，通義千問2的下一個token延迟

表3.在由英特爾鋭炫A770 16GB限量版驅動的AI PC上，通義千問2的下一個token延迟

(8765959)