北美站
收藏
举报
华尔街日报报道说，OpenAI 在代号为 Orion 的新人工智能项目中遇到了一个又一个问题，目前还不知道何时可以解决。
OpenAI 在其代号为 Orion 的新人工智能项目中遇到了一个又一个问题OpenAI的新人工智能项目进展缓慢，耗资巨大，而且不清楚何时能奏效，甚至是否能奏效也没有明确答案。
可能全球现有的数据都不足以让这个弄潮儿变得足够智能。
这个项目的官方名称为GPT-5，代号为Orion，已经研发超过18个月，目标是大幅提升驱动ChatGPT的技术水平。
据知情人士透露，OpenAI的最大合作伙伴和投资者微软原本预计新模型会在2024年年中推出。
OpenAI已经进行了至少两次大规模的训练，每次都需要数月时间处理海量数据，目标是提升Orion的智能程度。
但知情人士表示，每次训练都会出现新问题，软件未能达到研究人员的预期。
他们说，在最佳情况下Orion比OpenAI当前的模型表现更好，但进步幅度不足以证明维持这个新模型的高昂成本是合理的。
据公开和私下的估算，一次为期六个月的训练成本。仅计算资源费用就可能高达5亿美元。
两年前，OpenAI及首席执行官萨姆·奥特曼凭借ChatGPT的推出在硅谷引发了震动。人工智能承诺将持续带来显著进步，并渗透到生活的方方面面。
分析师预测，科技巨头们未来几年可能在AI项目上投入1万亿美元。这些期望主要落在了OpenAI身上，这家公司是AI热潮的核心。
10月，投资者给OpenAI的估值达到1570亿美元，这很大程度上基于奥特曼的预测，即GPT-5将在各类领域和任务中实现“显著飞跃”。
GPT-5被寄望于解锁新的科学发现，同时还能完成诸如预约会议或订机票等日常人类任务。
研究人员希望比目前的AI模型错误更少，或至少能承认自己的不确定性——这是当前模型面临的一大挑战，这些模型经常会以极高的自信生成错误内容。
这种现象被称为“幻觉”。
AI聊天机器人依赖于一种名为大型语言模型（LLM）的底层技术。消费者、企业和政府已经将用于从编写计算机代码，到改进营销文案再到规划聚会的方方面面。
OpenAI目前的模型是GPT-4，这是公司自2015年成立以来开发的第四个LLM。
一位OpenAI的前高管表示，GPT-4的表现类似于一个聪明的高中生，而最终的GPT-5在某些任务上则相当于拥有博士学位。
今年早些时候，奥特曼在斯坦福大学的一次演讲中告诉学生，OpenAI可以“以高度科学的确定性”表示，GPT-5会比当前模型更智能。
没有明确的标准来确定新模型何时足够智能，可以理直气壮的说是GPT-5。OpenAI可以通过数学和编程等领域的测试评估LLM，但是否将命名为GPT-5更多取决于公司高管的主观判断，或者用很多技术人员的话说，靠“感觉”。
到目前为止，这种“感觉”并不好。
今年11月，奥特曼表示公司不会在2024年推出任何被称为GPT-5的产品。
缓慢
缓慢的培训过程
自从GPT-4在2023年3月推出以来，OpenAI就开始着手研发GPT-5。
长期从事AI研究的专家表示，开发像LLM这样的系统既是一门科学，也是艺术。全球最受尊敬的AI科学，家以他们对如何获得更好结果的直觉而备受推崇。
在模型训练期间，研究人员会进行测试。训练通常持续数月，期间模型会被输入数万亿个被称为“tokens”的文字片段。
一轮大规模训练需要耗费数月时间，并使用成千上万块昂贵且备受追捧的英伟达芯片，在远程数据中心完成。
训练过程中，研究人员需要伏案工作数周甚至数月，将世界上大量的知识输入到AI系统中，这些操作依赖于全球分布的数据中心中最昂贵的硬件。
奥特曼曾表示，训练GPT-4的成本超过1亿美元，而未来的AI模型预计将突破10亿美元。
一轮失败的训练，就像火箭发射后不久在空中爆炸一样令人挫败。
为了尽量降低失败的风险，研究人员通常会先进行小规模实验，即在正式训练前先进行试运行。
从一开始，GPT-5的计划就面临问题。
2023年年中，OpenAI启动了一轮训练，这同时也是对Orion新设计的一次测试。然而，训练过程非常缓慢，这表明更大规模的训练可能会耗费极长时间，导致成本高得令人难以接受。而这次名为Arrakis的项目结果显示，创建GPT-5的过程可能不会如预期般顺利。
OpenAI的研究人员决定对Orion进行一些技术调整以增强其性能。他们还得出结论，需要更多种类丰富且高质量的数据。他们认为，仅靠公开的互联网数据已经不足够。通常来说，AI模型摄取的数据越多，其能力就越强。
对于大型语言模型（LLM）而言，这些数据主要来自书籍、学术出版物以及其他权威来源。这类资料有助于模型更清晰地表达，并能够处理广泛的任务。
在此前的模型中，OpenAI使用的是从互联网上抓取的数据，包括新闻文章、社交媒体帖子以及科学论文。
为了让Orion变得更智能，OpenAI需要规模更大。这意味着需要更多的数据，但现有的数据已经不足以支持需求。
“成本会变得非常高昂，同时很难找到更多同等高质量的数据，”创业公司DatologyAI的首席执行官阿里·莫科斯说。这家公司致力于开发改进数据选择的工具。莫科斯正在尝试使用更少但质量更高的数据来训练模型，并认为这一方法将使当今的AI系统更具能力，这与OpenAI等顶级AI公司采取的策略截然不同。
OpenAI的解决方案，是从零开始创造数据，雇佣人员为Orion编写新的软件代码或解决数学问题。部分工作人员是软件工程师和数学家，他们还会将工作原理解释给Orion学习。
许多研究人员认为，代码作为软件的语言，能够帮助LLM解决尚未接触过的问题。
让人类解释他们的思考过程，可以提升新创建数据的价值。这不仅为大型语言模型（LLM）提供了更多的语言素材，还为模型未来解决类似问题提供了参考路径。
“我们正在把人类智慧从人类大脑转移到机器大脑中，”人工智能基础设施公司Turing的首席执行官兼联合创始人乔纳森·西达斯说。Turing与OpenAI、Meta等公司合作。
Turing的高管表示，在AI训练中，一名软件工程师可能会被要求编写一个高效解决复杂逻辑问题的程序。一位数学家可能需要计算出用一百万个篮球搭建金字塔的最大高度。答案——尤其是解决问题的过程，会被整合到AI的训练材料中。
OpenAI还与理论物理学等领域的专家合作，了解他们如何处理自己领域中的一些最棘手的问题。这种方式也有助于提升Orion的智能水平。
数据创建的挑战
这一过程极为缓慢。GPT-4被估计使用了大约13万亿个token进行训练。如果有一千人每天写5000字，也需要数月才能生产出10亿个token。
为了加快进度，OpenAI开始开发所谓的“合成数据”，即由AI生成的数据，用于训练Orion。
然而，研究显示，AI为AI生成数据的反馈循环，常常会导致功能失调或生成无意义的答案。
OpenAI的科学家们认为，可以通过使用另一款AI模型（名为o1）生成的数据来避免这些问题，知情人士透露。
然而，OpenAI本就艰难的任务，还因内部问题和竞争对手不断挖走顶级研究人员的尝试而复杂化。竞争对手通常会开出数百万美元的高薪以吸引人才。
去年，奥特曼被OpenAI董事会突然解雇，一些研究人员当时甚至怀疑公司是否能继续存续。但奥特曼迅速被重新任命为首席执行官，并着手改革OpenAI的治理结构。
今年，OpenAI已有20多名关键高管、研究人员和长期员工离职，包括联合创始人兼首席科学家伊利亚·苏茨克维尔，以及首席技术官米拉·穆拉蒂。
本周四，备受尊敬的研究员亚历克·拉德福德也宣布离职，他曾是OpenAI多篇科学论文的主要作者，在公司工作了近八年。
重启与竞争压力
到2024年初，OpenAI的管理层开始感受到压力。GPT-4已经推出一年，而竞争对手正快速迎头赶上。行业内许多人认为Anthropic的新LLM在某些方面已经优于GPT-4。
同年，谷歌推出了最受欢迎的新AI应用NotebookLM，掀起热潮。
在Orion进展受阻的同时，OpenAI开始开发其他项目和应用，包括简化版的GPT-4和一款名为Sora的AI视频生成产品，这导致负责新产品的团队和Orion研究团队之间为有限的计算资源互相争夺。
AI实验室之间的竞争愈发激烈，以至于科技公司对研究成果的保密程度超出了以往的科学规范。
两年前，当资本涌入市场时，科技公司开始将研究成果视为需要严格保护的商业机密。一些研究人员对保密如此重视，以至于他们不会在飞机、咖啡馆或其他可能被偷窥的地方工作，以免他人瞥见他们的研究内容。
这种秘密主义让许多资深AI研究人员感到不满，包括Meta的首席AI科学家扬·勒昆。
他认为，OpenAI和Anthropic的工作不应再被视为研究，而是“高级产品开发”。
“如果是在商业时钟下完成的，就不能叫研究，”勒昆在最近一次AI会议间隙说道。OpenAI在这次会议上的存在感很低。“如果是秘密进行的，也不能叫研究。”
2024年初，OpenAI准备再次尝试训练Orion，这次带着更好的数据。研究人员在年初进行了几轮小规模训练，为大规模训练建立信心。
到5月，OpenAI的研究人员认为可以开始另一轮大规模训练，这次预计持续到11月。
然而，训练开始后，研究人员发现数据存在问题：数据的多样性并不像他们想象的那样丰富，这可能会限制Orion的学习能力。
这一问题在小规模训练中并未显现，直到大规模训练启动后才暴露出来。OpenAI已经投入了太多时间和金钱，无法重新开始。
研究人员只好在训练过程中尽力寻找更多样化的数据输入模型。
然而，这种策略是否有效尚不清楚。
Orion的困境让OpenAI内部一些人意识到，早期成功所依赖的“更多即是更好”策略可能已经走到了尽头。
OpenAI并非唯一担忧AI进步可能触顶的公司。在整个行业内，关于AI是否已经开始进入发展瓶颈的争论愈演愈烈。
苏茨克维尔最近联合创立了一家名为“安全超级智能”（Safe Superintelligence，简称SSI）的新AI公司。
他在一次AI会议上表示，“最大数据时代”已经结束。
他对一群研究人员、政策专家和科学家说：“数据之所以不再增长，是因为我们只有一个互联网。甚至可以说，数据是AI的化石燃料。”
而这种燃料正在逐渐枯竭。
推理能力：让LLM变得更聪明的新方法
Orion项目的困境，让OpenAI的研究人员转向了一种新方法来让LLM更聪明：推理能力。
研究人员表示，花更长时间“思考”可能让LLM解决一些它未接受过训练的难题。
在后台，OpenAI的o1模型会针对每个问题生成多个答案，并分析这些答案以找出最佳答案。可以执行更复杂的任务，比如撰写商业计划或设计填字游戏，并同时解释其推理过程——这种机制让模型从每个答案中学到一些东西。
然而，苹果的研究人员最近发表了一篇论文，提出推理模型（包括o1的某些版本），很可能只是模仿它们在训练中见过的数据，而不是实际解决新问题。
苹果研究人员指出，如果问题稍作修改，比如在一个关于猕猴桃的数学问题中加入无关细节（例如说明一些水果比其他的更小），模型的表现会出现“灾难性下滑”。
今年9月，OpenAI推出了o1推理模型的预览版，并在本月初发布了o1的完整版本。
但这些增强的推理能力代价高昂。与仅生成单一答案相比，OpenAI现在需要为每个查询生成多个答案，从而增加了运行成本。
在最近的一次TED演讲中，OpenAI的一位高级研究科学家重点介绍了推理能力的优势。
“事实证明，在一局扑克游戏中，让机器人思考20秒所带来的性能提升，相当于将模型扩展10万倍并训练10万倍更长时间所达到的效果，”OpenAI科学家诺亚姆·布朗说。
更高级、更高效的推理模型可能会成为Orion的基础。OpenAI的研究人员正在追求这种方法，并希望将其与以往的大量数据训练方法相结合，这些数据部分可能来自OpenAI的其他AI模型。随后，OpenAI可以使用人类生成的材料对结果进行精细化处理。
上周五，奥特曼宣布了一个新的推理模型计划，这款模型将比公司之前发布的任何模型都更智能。但他并未透露关于何时或者是否会推出一个足以被称为GPT-5的模型的信息。
