GPT-o1来了!OpenAI最强推理大模型,就这?

HelloKitty 2024-09-14 17:16

扫一扫 在手机阅读、分享本文

1573

本文由 雷科技 撰写/授权提供,转载请注明原出处。

文章来源于:雷科技

编辑:冬日果酱

外界对 OpenAI「草莓(Strawberry )」项目的关注由来已久,但很长时间以来都是:只闻其声,不见其人。这种局面可能很快就会被打破。

The Information 在最新的报道中披露,两位测试过「草莓」模型的人士表示,OpenAI 可能将在接下来的两周内发布「草莓」模型,并上线 ChatGPT。但不同于 GPT-4o、GPT-4o mini 是在优化使用体验和成本,「草莓」的目标是再一次让大模型向 AGI 前进。

1.png

图/ The Information

那些取消 ChatGPT Plus 的用户,可能又要重新订阅了,但据称新模型将拥有一个让人「amazing」的定价。

「草莓」成熟时,

大模型也要「成熟」

OpenAI 将在未来两周内推出「草莓」的消息,无疑引起了业内的广泛关注,因为这不仅是 OpenAI 在大语言模型领域的新尝试,也可能是对人工智能推理能力一次新的革命性提升。

根据目前流出的信息来看,相比以往的 GPT 模型,「草莓」在处理复杂问题、执行多步骤任务方面展现出前所未有的潜力,使其成为通用人工智能(AGI)迈出的重要一步。

首先,「草莓」项目的核心亮点是大幅增强了推理能力。据报道,「草莓」能够自主完成深度研究任务,这意味着它不再仅限于生成答案,而是能够提前规划、自动导航互联网,甚至自主解决高度复杂的科学问题。

相比现有的 GPT-4 系列模型,「草莓」被寄予了厚望,可以帮助 AI 更好地模仿人类的思维过程,尤其是在数学和科学领域表现突出,成功解决了此前困扰大模型的多步骤推理问题。

除了推理能力的突破,「草莓」还引入了名为「后训练(Post-training)」的新技术,即在完成大数据集的预训练后,进一步对模型进行调整,使其在特定任务上表现更加出色。

2.png

关于 STaR 的一篇论文,图/ arXiv

这个方法类似于斯坦福大学开发的「自学推理者(STaR)」模型,通过自我生成训练数据,AI 能够不断迭代优化自身智能水平。这使得「草莓」在应对复杂任务时能够表现得更为灵活和高效,尤其是执行长时间任务(LHT)时,其规划能力和执行能力均得到显著提升。

然而,尽管「草莓」项目充满了潜力,此前也有爆料指出了早期测试中暴露出的一些问题。例如,在处理简单任务时,响应速度偶尔过慢,且其记忆对话的功能尚不稳定。这些问题显然会影响使用体验,但也是新技术在探索中的必然过程。

关键是推出之时,OpenAI 能否解决或者改善这些问题。

但无论如何,「草莓」或是当下最可能引领 AI 推理能力质变的大模型,这也让行业内外对于「草莓」的期待愈发高涨。因为它不仅意味着大语言模型的发展进入了新的阶段,也让我们看到了实现 AGI 的曙光。

OpenAI 宫变「导火索」:

从 Q* 到草莓

「草莓」项目的诞生并非一蹴而就,它的根源可以追溯到 OpenAI 早期一个代号为「Q*」的秘密项目。对于很多人来说,「Q*」这个代号可能并不熟悉,但一定知道去年底的 OpenAI 宫斗事件。

2023 年末,OpenAI 突然爆发了宫斗级别的管理层震荡,CEO 山姆·奥特曼(Sam Altman)被董事会短暂罢免,而直接导火索正是「Q*」项目的安全风险与争议。

3.png

「OpenAI 的灵魂」:左二为奥特曼、左四位伊利亚,图/ OpenAI

事情的起因可以追溯到「Q*」的初步测试阶段,当时项目展示了在解决数学和科学推理问题上的惊人成果,特别是在一些复杂的多步骤问题上,模型的表现超越了现有的大模型。这让部分研究人员感到兴奋的同时,也产生了深深的忧虑 。

这些突破预示着,OpenAI 可能正在快速逼近通用人工智能(AGI),这一发展超出了某些董事会成员的预期。他们担心 AI 的快速进化带来不可控的风险,甚至可能对社会产生深远的影响。OpenAI 内部,围绕「Q*」是否应该继续推进的争论愈演愈烈。

部分董事会成员认为项目的推进过于激进,尤其是涉及 AGI 的潜在危险,应该更加谨慎对待 。最终,分歧达到了顶点,奥特曼在未与董事会充分沟通的情况下加速推进了「Q*」,引发了他短暂离职的戏剧性事件。

但事实上矛盾是以另一方的离场作为结果。奥特曼回归之后,作为 OpenAI 灵魂人物、首席科学家的伊利亚(Ilya Sutskever)再也没有现身官方发布活动,并在 GPT-4o 发布后官宣离职。

4.png

图/ X

3 天后,另一位 OpenAI「超级对齐」团队负责人 Jan Leike 也宣布了离职。而与此同时,「Q*」项目还在加速推进,并演变成了后来更广为人知的「草莓」项目。

今年夏天,奥特曼还在 X 上发布了一张草莓的实拍图,一度引起了「草莓」即将落地的猜测。

5.png

图/ X

重新向 AGI 进发:

「草莓」重新定义 AI?

过去近两年,大模型厂商的方向显然已经发生了一些改变。最早,整个行业都把 OpenAI 的 Scaling Law 奉为金科玉律,每一代生成式 AI 模型的进化都伴随着庞大参数量的提升,背后的依据是参数越大,智能涌现的潜力就越高。

但到了 2024 年,各家大模型其实在放缓对「参数规模」的追逐,开始转向中小型参数规模、更具成本效益的模型。7 月,就连 OpenAI 也推出了 GPT-4o mini,更不用说此前,国内和国外的知名大模型基本都已经推出了中等规模或者较小规模的模型。

在这个大背景下,OpenAI 的「草莓」项目仍然显得与众不同。在「草莓」项目上,OpenAI 不再通过堆叠参数规模来获得智能涌现,而是试图通过优化模型的推理逻辑,通过增强推理能力和自我训练算法,突破了传统 AI 的性能瓶颈。

从目前透露出的情况来看,「草莓」似乎不仅具备了类似人类的推理能力,能为解决复杂的多步骤问题提供了新的可能性。比如在科学研究、复杂决策、数据分析等领域,传统的语言模型往往只能通过简单的文本生成来应对,而「草莓」则能够根据问题的复杂性自主生成解决方案,并进行推理验证。

6.png

图/ DALL·E 生成

这种转变对推动 AI 真正从「工具」到「智能助手」的角色转变至关重要,也将使更多企业受益于 AI 推理能力的进步。

另一方面,「草莓」还在一定程度上具备了自我迭代、自我提升的能力,接近 AI 领域梦寐以求的「递归自我改进(Recursive Self-Improvement)」。通过自我生成训练数据并进行迭代优化,「草莓」能够在过程中「学习」如何更有效地解决复杂问题,并且在应对新任务时,能够利用已有的经验快速适应。

然而,「草莓」项目当然也有一些不可忽视的挑战。比如大规模使用中的稳定性表现,又比如引发 OpenAI 宫变的「安全」问题。此外还有一个更加实际问题是,与现有的 GPT-4 等多模态模型相比,据称「草莓」仍然缺乏多模态处理能力,这也意味着它在处理图像、视频等复杂数据时可能面临局限性。

还有价格。

首先要说明的是,在官方还未发布甚至官宣定价之前,实际「草莓」模型的价格是个未知数。但几乎可以肯定,「草莓」模型的训练和推理成本都会更贵。而按照 The Information 的消息源表示,OpenAI 高管一度讨论过将「草莓」模型和「Orion」模型(可能是 GPT-5)的订阅价格定在:

2000 美元/月。

你没看错,不是 20 美元(目前 ChatGPT Plus 的定价),也不是 200 美元,而是 2000 美元。尽管只是「一度讨论过」,甚至可能只是面对企业用户,但从中也能体现出「草莓」的高成本,以及 OpenAI 在一定程度上的自信。

7.png

目前 Plus 的价格,图/ ChatGPT

或许,如何平衡高推理能力、成本、用户体验等方面之间的关系,是「草莓」项目必须面对的一个问题。也就说,OpenAI 推出不同等级、不同价格的「草莓」也没未必没有可能。

但无论如何,前提条件还是「草莓」要有足够优秀、亮眼的表现,就如 2022 年末横空出世的 ChatGPT(GPT-3.5)一般。

而在未来两周内,OpenAI 是否能凭借「草莓」项目再次定义 AI 的边界,值得所有人拭目以待。

微信图片_20240802161354.png

微信图片_20240207151541.png

微信图片_20240313155219.jpg

微信图片_20230104175528.jpg

扫一扫 在手机阅读、分享本文

扫码关注公众号

获取更多技术资讯

客服微信
享受1V1专属服务
免费领取技术福利
发送名片申请入群
与CTO聊合作
(备注姓名、公司及职位)
热门文章