规模越大问题越多 AI模型发展艰难

自从OpenAI推出ChatGPT以来已经过去了两年，生成式AI取得迅猛发展，经历了一轮轮的技术升级。OpenAI及其主要竞争对手Anthropic、谷歌(Google)和Meta发布了一系列先进的AI模型，每个都比前一个更加功能多样。现在这已经成为硅谷的信念：更强的计算能力、更多的数据和更大的模型将带动AI的根本性发展，这项技术将在未来几年内给整个行业带来变革。

然而，在ChatGPT两岁生日到来之际，其发展速度面临的威胁已经出现。2024年，OpenAI和另外两家领先的AI公司遇到绊脚石。在OpenAI和谷歌，一些软件未能达到内部期待，而前OpenAI员工组建的对手公司Anthropic备受期待的模型也没能按照时间表准时发布。如果生成式AI的进展持续放缓，人们将怀疑这项技术是否能够兑现该行业顶级创新者就此做出的更广泛承诺。想办法推动AI热潮进入下一阶段将是2025年的主要挑战。

这些公司面临几方面的障碍。首先，找到新的高质量真人训练数据源以打造更先进AI系统的难度越来越大。此外，即使AI性能适度提升，可能也不足以证明，耗费巨大成本创建和运行新模型是合理的。Anthropic的首席执行官达里奥·阿莫迪(Dario Amodei)称，训练一款超前沿模型需要投入的成本约为1亿美元，而且他预计未来数年这个金额甚至可能达到1000亿美元。OpenAI首席财务官萨拉·弗里亚尔(Sarah Friar)说，该公司的下一款先进模型的开发成本将达到数十亿美元，而且还需要“体量更大、成本更高的模型”。

这些问题让人们对AI领域已经投入的数十亿美元，以及这些公司积极追求的通用人工智能(AGI)目标心生疑虑。AGI有望在多项任务上达到或超出人类水准。OpenAI和Anthropic的CEO此前表示，AGI可能只需要几年时间就能实现，他们都否认了关于碰壁的说法。但其他行业领袖的语气则更谦虚一些。“我认为取得进展的难度将变大。”谷歌CEO桑德尔·皮查伊(Sundar Pichai) 2024年12月初在《纽约时报》(New York Times)的DealBook峰会上接受采访时称。展望2025年，他说，“好摘的果子都没有了，山路愈发陡峭。”

在这个以创新为荣的行业，各家公司都寻找不同的方法来推动AI模型的发展。目前进行中的项目包括：让计算机模拟人类思考问题的方式，以便更好的解决问题；建立尤其擅长特定种类任务的模型；利用AI自身生成的数据训练AI。

OpenAI尤其如此。它早就在倡导让AI像人类一样进行推理，处理更复杂的问题，并不断加以改进，尤其擅长数学、科学和编码类问题。2024年9月，该公司公布了名为o1的早期版本模型，在对用户的问题做出回答之前，它会花费更多时间来进行计算。OpenAI在12月宣布了该模型的改进版，其CEO萨姆·阿尔特曼(Sam Altman)在社交媒体上将其称为“世上最聪明的模型”。

该公司对o1非常有信心，已经开始提供收费200美元的包月服务，用户可以访问使用更多算力来回答问题的模型版本。

包括谷歌和软件开发商Databricks在内的另外几家公司也在各自开发这类模型。这通常被称作测试时间(test-time)或推理时间(inference-time)计算方法。Databricks的首席AI科学家乔纳森·弗兰克尔(Jonathan Frankle)表示，他预计这项技术将在业内愈发普及。他说，除了提供更好的答案之外，该技术还能够提高建立AI模型的经济效益，因为它可以将部分成本从发布前的开发阶段转移到投入使用并开始创造收入之后。

技术上的思考并不能解决AI对数据无止境的需求问题。公司越来越多地转向合成数据，以多种形式呈现，其中包括意在模仿真人创作内容的计算机生成文本。艾伦人工智能研究所(Allen Institute for AI)的科学家内森·兰伯特(Nathan Lambert)表示，在研究Tulu 3模型时，他和他的同事提示AI模型基于特定人物来生成问题。例如，他们会让AI模型扮演一名宇航员，并针对这个职业设计数学问题。它会问，在一天中某个特定时刻，月亮和太阳距离多远？他们把这些问题喂给模型，然后利用问题和答案来对自己的系统进行微调。出于某种原因，这种方法增强了Tulu 3的数学能力。“我们不知道它能够充分运行的原因，”兰伯特说，“这恰恰是合成数据令人兴奋的一面。”

弗兰克尔说，大语言模型——即支持ChatGPT运行的AI软件——它的意义在于复制人类使用的语言，因此，只是基于它生成的内容对AI系统进行训练并不会带来改进。兰伯特说，重要的是过滤AI生成的数据，以避免重复并验证其精确度。一些研究人员还担心，不加分辨地使用这些数据进行训练可能会妨碍模型的性能（他们将这种后果称为“模型崩溃”）。

斯坦福大学(Stanford University)以人为本人工智能研究院(Institute for Human-Centered AI)联席院长、AI初创公司World Labs联合创始人李飞飞预计，AI公司将越来越多地依赖合成数据。例如，她指出，自动驾驶技术的研究者一直依赖模拟驾驶数据。“在AI的技术栈中，数据与算法同样重要，”李飞飞说，“合成数据大有可为。”

如果目标是发展AGI，那么扩展庞大通用模型的问题就显得尤为重要。但从历史上看，AI的设计一直聚焦于实现单一任务。Databricks的弗兰克尔说，这方面还有很大的创新空间。总的来说，他很乐观。他把AI行业当前的情况与芯片业的发展历程进行比较：芯片开发商在达到一个看起来难以突破的极限后，会迸发出新的创意来不断改进这项技术，如多核处理器、辅助处理器、并行处理等。

“回顾半导体的发展过程，”他说，“我们从从创新走向创新，推动行业不断向前。” 编辑/陈佳靖

总之 在ChatGPT推出两年之际，其发展速度面临的威胁已经出现。人们开始对AI领域的巨额资金投入和领军公司积极追求的AGI目标心生疑虑，而各家公司仍在寻找不同的方法来推动AI模型的发展。