据路透报道,人工智能公司如OpenAI正在开发更具人类思维方式的训练技术,以克服在构建超大规模语言模型过程中遇到的意外延迟和挑战。
路透采访的十几位人工智能科学家、研究人员和投资者表示,他们认为这些技术(也是OpenAI最新发布的o1模型的背后技术)有可能让AI领域呈现新的面貌,并将影响AI公司对各种资源(如能源和芯片)的巨大投入。
自两年前ChatGPT发布后,众多科技公司从AI热潮中受益,纷纷公开宣称,通过增加数据和计算能力“扩大规模”可以不断改进AI模型。
然而,现在一些顶尖的AI科学家开始质疑“越大越好”的理念。
人工智能实验室Safe Superintelligence(SSI)和OpenAI的联合创始人伊利亚·苏茨凯弗,近期告诉路透社,AI模型的预训练(即使用大量无标签数据来理解语言模式和结构的阶段)扩展所带来的效果,已经趋于平稳。
苏茨凯弗被认为是最早倡导通过更多数据和计算能力提升生成式AI的人之一,最终促成了ChatGPT的诞生。苏茨凯弗今年早些时候离开OpenAI,创办了SSI。
“2010年代是扩展的时代,而现在我们再次回到了探索和发现的时代,大家都在寻找下一个突破点,”苏茨凯弗说。“选择正确的扩展方式,现在比以往任何时候都重要。”
苏茨凯弗没有透露他团队的具体方法,仅表示SSI正在研究替代的预训练扩展方法。
据三位知情人士透露,主要AI实验室的研究人员在推出能超越OpenAI GPT-4模型的新大模型时遇到了一些延误和令人失望的结果。GPT-4发布已有近两年,实验室在开发更强大模型的过程面临阻碍。
所谓的大模型“训练运行”成本可达数千万美元,需要同时运行数百个芯片。由于系统复杂,硬件故障更容易发生,研究人员通常要在几个月的训练结束后才能得知模型的最终表现。
此外,大型语言模型已耗尽全球所有易获取的数据资源。电力短缺也阻碍了训练运行,这个过程需要巨大的能源。
为克服这些问题,研究人员正在探索“推理阶段计算”技术,即在模型推理(使用)阶段改进现有AI模型。
例如,模型可以在做出最终回答前实时生成和评估多种选项,从而选择最佳路径。
这种方法允许模型在处理数学、编程问题或复杂操作时,投入更多计算能力,提供更接近人类推理的决策。
“在扑克游戏中让一个机器人思考20秒,提升效果和将模型扩展十万倍、训练十万倍时间相同,”OpenAI研究员诺姆·布朗上个月在旧金山TED AI会议上说,他参与了o1模型的研发。
OpenAI已在其新发布的“o1”模型中采用了这一技术,模型曾称为Q*和Strawberry。O1模型能够像人类一样分步骤“思考”问题,利用博士和行业专家策划的数据和反馈。
o1系列的关键是在“基础”模型(如GPT-4)之上进行一套额外训练。OpenAI表示,计划将技术应用于更多且更大的基础模型。
与此同时,据五位知情人士透露,Anthropic、xAI和谷歌DeepMind等顶尖AI实验室的研究人员,也在开发各自的类似技术。
OpenAI首席产品官凯文·韦尔10月在科技会议上说:“我们发现很多可以快速提升这些模型的低垂果实,等大家赶上来时,我们会再领先三步。”
此类技术可能改变AI硬件的竞争格局,目前这一领域主要依赖于英伟达AI芯片。红杉资本和Andreessen Horowitz等知名风投公司已投入数十亿美元,支持包括OpenAI和xAI在内的多个AI实验室,他们正关注这一转变并评估对投资的影响。
红杉资本合伙人对路透社表示:“这一转变将推动我们从大规模预训练集群转向推理云,这是一种基于云的分布式推理服务器。”
英伟达的AI芯片需求激增,使其成为全球最有价值的公司,十月超越苹果。与英伟达主导的训练芯片市场不同,在推理市场上,英伟达可能面临更多竞争。
当被问及新技术对其产品需求的潜在影响时,英伟达提到公司最近的演讲,重点介绍了o1模型背后的技术。黄仁勋上月在印度的会议上表示,推理阶段需求的增长显著,“我们现在发现了推理阶段的第二条扩展法则……所有这些因素使得对Blackwell芯片的需求非常高。”