大型语言模型遇到瓶颈 AI“淘金热”时代即将终结？

在人工智能领域的诸多不确定因素中，有一件事似乎一直很清楚：更大、更昂贵的系统能产生更好的结果。因此，像OpenAI这样的模型开发商不断筹集1570亿美元的资金，以及大型科技集团的巨额资本支出。

然而，现在这种确定性的核心似乎正在瓦解。由于没有新的数据来训练软件，研究人员正在努力通过投入更多的资源来获得更智能的输出。淘金热阶段可能即将结束，为更灵活的新竞争者打开了大门。

智通财经注意到，技术专家直到最近才认同人工智能是“可扩展的”，这意味着越大越好。2020年，OpenAI的研究人员表明，当使用更多的数据、计算能力和参数(就像系统的旋钮和刻度盘)进行训练时，所谓的大型语言模型会以稳定的速度改进。

这引发了芯片和数据中心的军备竞赛，分析师预计，到2025年，仅微软一家公司的资本支出就将达到640亿美元，是通用汽车的六倍。Alphabet、亚马逊、Meta平台、微软和英伟达的总市值比2022年11月OpenAI发布ChatGPT时高出8万亿美元。

人工智能扩展定律的证据似乎正在瓦解。尖端系统已经吸收了世界上大部分有用和可用的训练数据。多个人工智能实验室在改进下一代模型方面遇到了问题。Alphabet首席执行官皮查伊在最近的一次活动中表示，领先的模型已经达到了类似的性能水平，现在进一步改进的难度更大了。OpenAI的奥特曼在同一场会议上表示，“没有墙”，同时他承认，AI规模扩大带来的更容易的收益已经消退。

一些研究人员希望未来的进步将来自更好的算法，而不是历史上的暴力破解方法。一种被称为“测试时间计算”的技术专注于增强推理过程，即客户使用人工智能系统的时间。给模型额外的时间来发现模式或使用新的数据可能会产生更好的结果，也许可以让机器把大问题分解成小问题。虽然很有希望，但与人工智能支持者一直在推动的以指数方式改进软件的愿景相比，这是一个退步。一旦一个模型考虑了一个问题的所有可能的答案，增加更多的时间并不一定有帮助。如果人工智能系统耗时太长，用户也可能会去别处寻找答案。

经济放缓的传言并未影响Alphabet、亚马逊、Meta、微软和英伟达的股价。一个新时代很可能会以不同的方式影响玩家。

可以说，英伟达的损失最大。黄仁勋的公司受益于一股抢购硅片的热潮，埃隆·马斯克的xAI公司最近计划建造一台拥有100万个图形处理单元芯片的超级计算机，是目前已经非常庞大的超级计算机的10倍。未来，公司可能更愿意使用更专业、更便宜的半导体，这将使英伟达3.3万亿美元的股权价值面临风险。

OpenAI和Anthropic等模型开发商可能会感到矛盾。积极的一面是，如果他们不再需要训练越来越大的系统，他们的财务报表将会受益。另一方面，人工智能规模的终结将削弱这些公司的部分乐观理由，即OpenAI或Anthropic的专有模型将变得越来越智能，并最终取代世界上大部分现有的软件。

大型企业的情况也同样好坏参半。好消息是，微软的和同行们可能不再面临眼看着竞争对手开发出一个能够执行任何任务的超级智能巨型模型的生存风险。如果人工智能无限扩展，这种风险可能是可以想象的。输掉这场竞赛将意味着错过可能是有史以来最伟大的创造财富的技术。因此，虽然头奖现在可能变小了，但被更强大的竞争对手碾压的风险也变小了。

从这种担忧中解脱出来后，纳德拉和皮查伊可以放下油门，等待更多的收入来证明所有的支出是合理的。股东们会很高兴：过去铁路和电信行业的繁荣表明，对新技术的过度热情是危险的。就连扎克伯格也承认，企业可能已经过度投资了。根据研究机构Epoch.ai的数据，最大模型的计算成本每8个月翻一番，训练功耗每年翻一番。

然而，资本支出军备竞赛的结束也可能意味着进入门槛的降低。如果庞大的计算能力不再是主流，那么新的初创公司应该能够以最低的成本生产出具有竞争力的人工智能产品，或许可以基于扎克伯格的Meta提供的开源模型进行设计。可以想象，一股新的企业软件业务浪潮将对广泛使用的系统进行调整，以服务于特定行业，比如法律专业人士或编码人员。Y Combinator是一家为刚起步的硅谷公司提供资金和孵化的公司，其中有数百家潜在的新挑战者。

无论哪家公司获胜，如果人工智能培训成本停止螺旋式上升，对投资者来说可能都是一个好消息。这可能是由于最近推理的价格急剧下降，或者当客户使用已经训练好的模型时所产生的费用。

三年前，处理100万个代币(一个数据单位)的成本为60美元。据风险投资公司安德森·霍洛维茨称，现在的成本为6美分。成本紧缩应该有助于采纳，让早期的进展迹象得以扩散。例如，Meta的季度广告收入自Chatgpt之前的时期以来增长了46%，这可能是因为更好的广告定位，而运营成本仅增长了5%。淘金热之后的艰巨任务是证明投资回报——并证明投资者令人眼花缭乱的预期是合理的。