翻车的不止谷歌？微软必应聊天演示被指存在事实性错误

北京时间2月15日上午消息，据报道，谷歌聊天机器人演示活动现场翻车导致其股价当天暴跌逾7%，但微软的演示活动同样出现了事实性错误。

上周的科技圈掀起了一个聊天机器人的小高潮，微软和谷歌都试图通过展示早起版本的AI搜索来先发制人。微软更是宣布，该公司的AI搜索仅用48小时就吸引100多万人注册。

这种技术可以针对用户的问题直接给出答案，看起来就像是真人创作的一样。微软CEO萨提亚·纳德拉（Satya Nadella）表示，该技术“或许会掀起知识工作的工业革命”。

但对于担心准确性的人来说，人工智能还有许多不足之处。

在微软进行演示时，这项嵌入在必应搜索中的类ChatGPT技术分析了Gap和Lululemon的财报。但业内人士将其给出的答案与财报原文对比后却发现，这款聊天机器人遗漏了一些数据，甚至会杜撰一些内容。

“必应AI在演示过程中给出了一些完全错误的答案，但却没人注意到。”独立搜索引擎研究员德米特里·布里尔顿（Dmitri Brereton）写道，“相反，大家都对必应的宣传欢欣鼓舞。”

布里尔顿发现，除了财务数据上的错误外，微软在演示中针对吸尘器规格和墨西哥旅行计划的回答可能存在事实性错误。布里尔顿最初并不是为了给微软“挑刺”，他只是在细致对比微软和谷歌的答案时意外发现了这些问题。

人工智能专家称这一现象为“幻觉”，也就是说，基于大语言模型生成的工具有杜撰内容的倾向。上周，谷歌推出了一款与之竞争的人工智能工具，演示过程中同样存在事实性错误——但当时的错误很快就被人发现。

这两家公司都在加紧将新型生成式人工智能整合进搜索引擎，希望在ChatGPT引爆行业热潮后向世人展示自己在这方面的优势。ChatGPT是去年11月由创业公司OpenAI推出的，他们已经通过微软融资百亿美元，与之竞争的Stability AI和Hugging Face等创业公司也在融资中获得了数十亿美元的估值。

谷歌与微软对待这项技术的态度差异明显：由于担心声誉风险和安全问题，谷歌迟迟不愿将AIGC（人工智能生成内容）技术整合进搜索引擎，而微软却在上周强调，有可能在短期内向部分公众开放这项技术。

“我认为不能让这项技术躺在实验室里，”纳德拉说，“应该安全地推广出去。”

但在必应AI的演示过程中，的确在公司财报数据上出现了一些问题。

微软营销高管约瑟夫·梅赫蒂（Yusuf Mehdi）在演示过程中访问了Gap的投资者关系网站，然后让必应AI根据这家零售商11月发布的第三季财报总结出“要点”。

“很酷，节约了大量时间。”梅赫蒂说。

下面是微软演示过程的屏幕截图：

以下是这份总结中存在的错误：

• Gap报告的毛利率为37.4%。但在去除与Yeezy有关的费用后，调整后毛利率为38.7%。
• Gap的运营利润率为4.6%，而非5.9%。5.9%这个数据在该公司的财报中根本没有出现。
• 调整后摊薄每股收益为0.71美元，而非0.42美元，后者同样在财报中无法找到。Gap的财报包含一个调整后所得税收益，约为0.33美元。
• Gap去年8月下调了全年预期，并在第三季度财报中表示，“第四季度销售额可能同比下滑个位数左右”。由此看来，全年营收应该下滑，而非“较低的两位数增长”。并没有营业利润率或每股收益预期。

Gap2022财年第三季度财报

• 微软表示，该公司知道这些错误，他们也预计必应AI会犯一些错误。
• “我们知道这份报告，并且已经通过分析这一问题来改善体验。”微软发言人说，“我们承认仍然有一些工作要做，并且预计到该系统可能会在预览期间犯一些错误，正因如此，反馈才至关重要，这可以帮助我们学习和改进模型。”
• 微软随后让必应AI对比了Gap和Lululemon的财报。梅赫蒂希望必应能将两份财报的数据提取出来，制作成一份表格。
• “看看效果多么惊人。”他说，“就像这样，一张表格，这个问题的答案有了。可以想象一下，用其他方法需要花多长时间。”

下面是必应AI的结果：

下面是表格中出现的几项错误，从利润率开始：

• Lululemon的毛利率是55.9%，不是58.7%。
• 该公司的运营利润率是19%，不是20.7%
• Lululemon的摊薄每股收益为2美元，调整后每股收益为1.62美元，必应显示的摊薄每股收益为1.65美元。
• Gap现金及现金等价物为6790万美元，不是14亿美元。
• Gap库存为30.4亿美元，不是19亿美元。