简体
  • 简体中文
  • 繁体中文

热门资讯> 正文

GSI Technology 报告 Gemini-II 上边缘多模态大语言模型推理的首次令牌时间为 3 秒

2026-01-29 13:30

基准测试结果表明,与竞争解决方案相比,该方案具有更快的多模态边缘推理速度,每瓦性能提升高达约 300%。

加州桑尼维尔,2026年1月29日(GLOBE NEWSWIRE)—— GSI Technology, Inc.(纳斯达克股票代码:GSIT)是关联处理单元(APU)的发明者,APU是人工智能(AI)和高性能计算处理领域的一项范式转变,它提供了真正的内存计算技术。该公司今日公布了Gemini-II内存计算处理器的初步基准测试结果。这些结果表明,对于在边缘端运行的多模态大型语言模型,在处理视频和文本输入时,其首词响应时间(TTFT)仅为3秒。

GSI 使用其量产版 Gemini-II 处理器上的 Gemma-3 12B 视觉语言模型,实现了 3 秒的 TTFT,同时 AI 子系统(包括芯片)的功耗约为 30 瓦。据 GSI 所知,在 AI 子系统上运行的多模态 12B 模型,在 AI 子系统功耗约为 30 瓦的情况下,3 秒的 TTFT 是目前公开报道的最低结果。

第三方独立机构对同类嵌入式平台进行了相同工作负载的测试,结果显示,在功耗为 30W 的 Qualcomm Snapdragon X Elite 平台上,TTFT 测量值约为 12 秒;而在功耗超过 100W 的 NVIDIA Jetson Thor 平台上,TTFT 测量值约为 3 秒。GSI 认为,Gemini-II 在低功耗下性能与同类平台持平甚至更优,因此能够为功耗和散热受限的边缘环境提供良好的响应速度和能效。

“这些基准测试结果凸显了内存计算在物理人工智能领域的巨大潜力,”GSI Technology总裁兼首席执行官李立安表示。“边缘部署需要在严格的功耗和散热限制下实现快速响应。3秒的TTFT意味着系统每3秒即可生成一次初始响应,这通常足以满足视频应用的需求,不会错过任何重要事件。Gemini-II能够在低功耗下实现低延迟多模态推理,从而支持更广泛的实时应用,从自主系统到在数据中心外运行的智能机器。”

GSI认为这种性能特性非常适合“物理人工智能”市场,包括无人机、智慧城市和其他边缘系统,这些应用场景的工作负载具有阶段性,并受到电池续航时间、散热设计和外形尺寸的限制。更快的TTFT和更低的芯片功耗可以实现更快的系统响应速度、更长的占空比和更低的系统总成本。

随着工作负载从云端辅助模型转向本地推理以提升延迟、可靠性和运行效率,边缘物理人工智能在人工智能计算领域占据越来越重要的地位。GSI 的专有内存计算架构旨在减少数据移动,而数据移动正是传统架构中延迟和功耗的主要来源。

GSI的工程团队正持续致力于进一步优化Gemini-II的响应速度,同时与包括G2 Tech在内的客户和合作伙伴开展系统集成和概念验证活动。基准测试结果旨在支持持续评估,并不保证未来的商业成果。

关于GSI技术
GSI Technology凭借其突破性的APU技术,引领着人工智能革命的潮流。该技术专为数十亿条数据库搜索和高性能计算而设计,可实现无与伦比的效率。GSI的创新产品Gemini-I®和Gemini-II®提供可扩展、低功耗、高容量的计算解决方案,重新定义了边缘计算能力。GSI Technology总部位于加利福尼亚州桑尼维尔,并在美洲、欧洲和亚洲设有销售办事处。欲了解更多信息,请访问www.gsitechnology.com

前瞻性声明

本新闻稿中除纯粹历史事实外的所有陈述均构成经修订的1934年《证券交易法》第21E条所界定的前瞻性陈述,包括关于GSI Technology的预期、信念、意图、战略、产品、市场机遇和潜在客户合作的陈述。本新闻稿中包含的所有前瞻性陈述均基于GSI Technology截至本新闻稿发布之日可获得的信息,GSI Technology不承担更新任何此类前瞻性陈述的义务。前瞻性陈述涉及多种风险和不确定性,可能导致实际结果与预期或暗示的结果存在重大差异。

GSI Technology参与概念验证项目属于探索性质,可能不会产生任何商业合同、长期合作或经常性收入。我们无法保证任何概念验证项目的范围、性能或结果能够满足客户预期或商业需求,也无法保证此类活动能够带来更多商机、订单量或大规模部署。可能导致实际结果与预期或暗示结果存在重大差异的其他风险和不确定性包括但不限于:基准测试结果的初步性和局限性;工作负载、配置、测量边界和方法上的差异可能会对TTFT和功耗测量产生重大影响;模型架构、版本和工具链的差异可能会影响性能;边缘“物理AI”的采用速度和程度以及安全、隐私和安保要求的影响;影响半导体、组件或制造合作伙伴的供应链限制;GSI Technology历来依赖于向有限数量的客户销售产品,以及任何时期客户和产品组合的波动;全球公共卫生危机导致经济活动减少;其产品市场快速变化且发展前景不明朗;需要开发和推出新产品以抵消其产品平均单价的历史性下降;激烈的市场竞争;政府资助机会的持续存在;基于其原地关联计算技术的新产品开发以及为销售此类产品建立新市场、客户和合作伙伴关系过程中可能遇到的延误或意外成本;以及与其抗辐射加固型SRAM产品建立客户关系和订单相关的延误或意外挑战。目前,许多此类风险已因经济和地缘政治状况而加剧,并将继续或在未来因这些状况而加剧,例如利率变化、全球通胀压力、政策不确定性、关税、出口管制和其他贸易壁垒的实施、军事冲突(特别是与台湾相关的冲突)以及充满挑战的全球经济环境。这些风险在GSI Technology最新提交的10-K表格年度报告、10-Q表格季度报告以及其不时向美国证券交易委员会(SEC)提交的其他报告中均有更详细的讨论。我们强烈建议您仔细阅读并考虑GSI Technology在本新闻稿及其向SEC公开披露或提交的报告中的各项披露内容,这些内容旨在告知您可能影响其业务的风险和因素。

来源:GSI Technology, Inc.

联系方式:
投资者关系
海登IR
金·罗杰斯
541-904-5075
Kim@HaydenIR.com

媒体关系
Finn Partners 为 GSI Technology 提供支持
里卡·西尔维里奥
415-348-2724
gsi@finnpartners.com

公司
GSI Technology, Inc.
道格拉斯·M·希尔勒
首席财务官
408-331-9802


风险及免责提示:以上内容仅代表作者的个人立场和观点,不代表华盛的任何立场,华盛亦无法证实上述内容的真实性、准确性和原创性。投资者在做出任何投资决定前,应结合自身情况,考虑投资产品的风险。必要时,请咨询专业投资顾问的意见。华盛不提供任何投资建议,对此亦不做任何承诺和保证。