Microsoft Azure创下110万代币/秒人工智能推理记录

微软（MSFT）表示，其Azure ND GB 300 v6虚拟机在由Nvidia（NVDA）GB 300图形处理器支持的单个机架上每秒处理110万个令牌，创下了新的人工智能推理记录。

性能测试使用Llama 2 70 B生成式文本模型和Nvidia TensorRT-LLM开源库进行，用于优化大型语言模型推理。

该测试显示，速度提高了27%，从每个上一代Nvidia Blackwell图形处理器的12，022个令牌/秒提高到每个Blackwell Ultra图形处理器的15，200个令牌/秒。它还比之前的Azure ND GB 200 v6记录（每秒865，000个代币）高出27%。

微软首席执行官萨蒂亚·纳德拉（Satya Nadella）表示，这一结果“创造了我们与英伟达（NVIDIA）和Azure在大规模运行人工智能方面的专业知识的联合创新，创造了行业纪录”。