年少财富自由,拒绝过盖茨、马斯克、奥特曼,传奇程序员的AGI之路

HelloKitty 2024-07-17 17:00

扫一扫 在手机阅读、分享本文

997

本文由 硅兔赛跑 撰写/授权提供,转载请注明原出处。

文章来源于:硅兔赛跑

作者:郑惠敏

编辑:Zuri

20 几岁,他凭借几款创世级别的 3D 游戏大卖,实现财务自由。

不差钱的他开始折腾火箭,不幸以失败告终。

迷上 VR,加入成立刚满一年的 Oculus 担任 CTO,一年后原地飞升,被 Meta 20 亿美金收购。

作为拒绝过马斯克、盖茨、乔布斯、山姆•奥特曼的男人,

AGI 时代,他决定再出山,干一票大的。

2022 年创立 Keen Technologies,另辟蹊径实现 AGI,获得红杉资本、GitHub 前 CEO、Stripe 联合创始人、Shopify 联合创始人兼 CEO 等 2000 万美元投资。

他就是 70 年代出生的编程天才,人称“卡神”的 John Carmack。

封“神”之路

小时候的 Carmack,不是个乖孩子。

沉迷游戏,迷恋电脑,甚至不惜偷窃以满足对电脑的渴望,并因此被关进少管所。进入高中后因为不羁的个性又被学校勒令休学一年。

因为天生聪明,复学后的他以 4.0 的平均绩点顺利毕业,进入了美国著名的公立研究型大学堪萨斯大学。

但仅仅读了两个学期,Carmack 就厌烦了循规蹈矩的大学生活,辍学进入社会。

从此 Carmack 过上了理想的生活,认识了志同道合的伙伴—— 程序员 John Romero、游戏设计师 Tom Hall 和画师 Ardian Carmack,四人夜以继日的敲代码、开发游戏,发布了《指挥官基恩》(Commander Keen)系列游戏的第一部并大爆。Carmack 的 AGI 公司 Keen Technologies 的名字正式源于此。

作品大爆使他们萌生了创业念头,1991 年,四人正式成立后来大名鼎鼎的游戏公司 id Software。

1992 年,id 发行了射击游戏《德军总部》(Wolfenstein 3-D)3D 版,这是全球最早的 3D 第一人称视角射击(FPS),开创了 FPS 这个前所未有的游戏类别,以 3D 和射击的概念让这款源自 80 年代的作品重新焕发生机。

隔年问世的《毁灭战士》更是成就惊人,它以快节奏的战斗、暴力的视觉表现、极强的兼容性成为 FPS 游戏中王者级别的存在,奠定了 id 业界巅峰的地位,不到一年时间里就带来了上亿美元的利润,还带动了当时并不便宜的 PC 销量。

1.png

图源:PCGamesN

面对巨大的利益,Carmack 做出了一个令人惊讶的举动,他向公众公布了《毁灭战士》的部分源代码,这使得其忠实粉丝有机会修改关卡和图形,相当于赋予了粉丝二次创作的机会,这进一步引燃了玩家的热情。

1995 年,《毁灭战士》的装机量甚至跑赢了 Windows95,让比尔·盖茨动起了收购 id 的念头。

被 Carmack 拒绝后,微软只好自己动手把《毁灭战士》移植到系统中。盖茨还亲自出镜,在电视广告中借着这款游戏售卖自家的 Windows 系统。

这些风靡一时的佳作让 Carmack 在玩家心中封神。

卡神在游戏中运用的 3D 图形显示技术和游戏引擎,后续也启发了 Epic Games 虚幻引擎和 Unity 3D 开发工具的诞生,对后世游戏产业产生了深远影响。

这里有一个小插曲,卡神与乔布斯一度关系甜蜜,二人在 id 创办早期便熟识,甚至卡神说服了乔布斯使用开源的 OpenGL 作为苹果电脑的 2D、3D 图形渲染引擎,卡神将之称为对 PC 行业“最大的间接影响之一”。

2.png

乔布斯与卡神|图源:Variety

但哪怕对方是乔布斯,卡神特立独行起来,也不给面子。据说,乔布斯曾想让卡神推迟原定的婚期,去做一个重要的主题演讲,但遭到了卡神的拒绝。

言归正传,对卡神本人来说,游戏作品的畅销也让他年纪轻轻就获得了大笔财富,不缺钱的他将目光转向了超级烧钱的民用航空领域。

2000 年,他成立航天公司 Armadillo Aerospace 以开发前卫的太空探险项目,并由此结识了同样心系外太空的马斯克。

3.png

图源:IBTimes UK

两人惺惺相惜,在卡神的太空事业步入绝境后,2015 年,马斯克与卡神推特互动时,突然邀请卡神加入 SpaceX,然而与乔布斯一样,遭到了卡神的拒绝,因为,卡神那时正全情投入到了 VR 事业中。

后来谈起未竟的太空事业,卡神认为失败的部分原因要归结于自己未能全力以赴,而马斯克对事业全情投入的精神值得学习,这让他决定以后无论做什么都要全力以赴。

4.png

图源:推特, International Business Times

2013 年,卡神离开了一手创立的 id Software,加入刚成立不久的 Oculus 担任 CTO。入职当天,蜂拥而来的粉丝围观让 Oculus 的博客系统一度宕机。2014 年,Oculus 被 Meta 20 亿美元买下,卡神加入 Meta 继续研究 VR。

卡神可谓兢兢业业:对公司项目亲力亲为,负责与三星合作开发 Gear VR,一个扛起需要一整个团队完成的工作量;从必须链接 PC 使用的 Oculus Rift,到最早的 VR 一体机 Oculus Go,再到高性价比的 Oculus Quest,以及 Oculus 的生态应用商店,都有卡神的身影奉献;他对玩家如春天般温暖:为了让用户能在 VR 中玩到《我的世界》,他独自花费一年多时间将游戏移植到 Oculus 商店。

但后来,卡神专注技术、脚踏实地的作风与 Meta 在元宇宙方面激进的策略产生掣肘,导致他在 Oculus 的重大决策中逐渐丧失了话语权。卡神对 VR 的热情也被 Meta 缓慢的运营效率消磨殆尽。最终,他选择在合同到期后离开。

AGI 的召唤:卡神进军人工智能

这一次,让大神转身的是 AGI。

担任 Oculus CTO 期间,OpenAI 的三位灵魂人物 Sam Altman、Greg Brockman 和 Ilya Sutskever 劝说卡神加入 OpenAI,一直以来特立独行的卡神不出意料的拒绝了。

但卡神却看完了 Ilya 列出的 40 多篇相关研究论文,从头开始,恶补 AI 算法,在 Python 才是主流编程语言的情况下,仅闭关一周时间就用 C++ 写出了卷积神经网络。

2022 年,卡神正式下场,成立了 AGI 公司 Keen Technologies。与大公司在投入一个新的技术领域时先评估商业前景的方式不同,卡神直截了当地表示,自己当前的工作,短期商业机会为零。

5.png

图源:John Carmack X 账号

Keen的首轮投资方不可小觑:包括GitHub前CEO Nat Friedman、前苹果AI高管Daniel Gross、Stripe联合创始人Patrick Collison、Shopify联合创始人Tobi Lutke、红杉资本以及硅谷传奇芯片架构设计师Jim Keller。

其中,Nat Friedman 和 Daniel Gross 是 Cohere、Character.ai 等 AI 独角兽的早期投资人,投出了美国人工智能的半壁江山,Daniel Gross 最近还成了前 OpenAI 首席科学家 Ilya 创立的 AI 安全公司的联合创始人;Jim Keller 则拥有 20 多年的芯片设计经验,被誉为 Zen 架构之父,曾在苹果、AMD、特斯拉等公司负责芯片设计与研发。

早就靠卖游戏实现财务自由的卡神并不缺钱,接受外部融资只是为了让自己更有创业的紧迫感。

这次创业,卡神拉上了强化学习之父 Richard Sutton。

Sutton 是经典教科书《强化学习导论》的合著者,被称为现代强化学习支付,曾在 DeepMind 参与 AlphaGo 系列研究,现任教于加拿大阿尔伯塔大学机器智能研究所。

9.png

卡神和Sutton|图源:Taproot Edmoton

Sutton 曾撰写过一篇著名短文 The Bitter Lesson,这篇文章今天已成为 OpenAI 工程师的必读经典。文章强调了增加算力对 AI 发展的重要性,与当时 OpenAI 训练 AI 所尝试的路径不谋而合,并在大语言模型的实现过程中得以印证。

通过邮件交流,卡神和 Sutton 发现双方都想走一条“非主流”之路。

用卡神的话来说“AI 领域充斥着资本、算力和数据,但主流研究方式有可能限制真正的突破。Sutton 和我恰好站在主流之外。”

他们都认为最终的 AGI 不会太复杂,与现在一个大规模应用数百上千万行代码、一个人永远无法写完相比,一个人就能编写 AGI 代码。

“如果拿出人的整个 DNA,它的信息量不到 1GB,大脑只是其中很小的一部分—— 大约 40MB,而且它没有被严格编码。这说明构成我们大脑智慧的编码没有那么多。”卡神表示。

在卡神的设想中,AGI 应该保持持续在线学习,而不是现在模型在完成预训练后大部分参数就不再更新。

不过,Keen Technologies 将走的具体路线,目前还保持神秘,打开公司官网,只有一句简单的话“John Carmack 的 AGI 尝试,尚未披露信息。”

8.png

2030 年之约:AI 小公司如何上大分?

尽管一切还在迷雾中,但至少有一点事明确的,卡神认为我们有希望在 2030 年看到 AGI 的端倪。

“我能看到目的地,但是现状和目的地之间充满不确定。没人知道如何实现,但我有信心到达目的地,或者至少有人可以实现,时间点很可能是 2030。”

据报道,Keen 的创始技术团队只有 4 人,融资规模仍停留在最初的 2000 万美元。无论人才还是资金储备都不如 OpenAI 等头部 AI 独角兽,更比不上谷歌、Meta 等巨头。

7.png

图源:TechCrunch

如此小的团队,如何实现通用人工智能的宏伟目标?

在 Scaling Law 尚未失效的当下,一边,以大模型为AGI基石的公司们仍在持续扩展大模型的参数和数据规模;另一边,以苹果为代表的端侧小模型不卷参数开始卷效率。而各大公司的不同研究团队用几个月的时间重复造轮子的群体性思维,让卡神感到不可思议。

在卡神看来,机器学习领域的研究存在一定随机性,目前并无明确的方向。小团队的优势在于可以把自己当做一个随机测试点,从随机权重和随机位置开始研究,反而有更大概率找到合适的路径。

在 Transformer 占大模型架构主流的背景下,也有新的架构试图撼动前者的主导地位。

例如来自卡内基梅隆大学和普林斯顿大学的两位助教发布的 Mamba 神经网络架构,去年 12 月一发布就在开源社区引起热烈反响。

按照作者,普林斯顿助理教授 Tri Dao 的说法,Mamba 突破了 Transformer 架构核心注意力层无法扩展到长上下文的局限性,可以随上下文长度的增加线性扩展,具有 5 倍的推理吞吐量,基于该架构的语言模型表现超越了 Transformer 架构的模型。

6.png

图源:Tri Dao X 账号

最近,原作者带队的 Mamba-2 架构正式发布,在训练速度和任务执行方面都有了更大提升。

回到 Keen,卡神表示将关注公司的长期发展,不会过早考虑商业化。当前,Keen 团队正在探索智能体之间的行动、感知、认知能力的增强,并寻找评估 AI 进步的确切指标。

近 2 年时间里,公司没有持续补血,这在花钱如流水的 AI 创业圈是难以想象的。

对此,卡神曾在专访中表示,AGI 是一项长达 10 年的任务,他不想在 2 年内将 2000 万美金烧完,再用“另一个系列来获得另外几亿美元”。

他计划花费数年的时间解决 AGI 的部分问题,并对已实现的成果进行一定程度的扩展,观察其效果。在自己培养的智能体实现可学习、可互动之后,卡神才会组建一支成分复杂的庞大队伍来进行后续的研究。

目前,通往 AGI 的道路依然迷雾重重。

但正如曾经在 3D 游戏、火箭、VR 领域书写的传奇一样,有远见、重实干的,卡神必将在这个充满未知的新领域留下精彩的一笔。

微信图片_20240207151541.png

微信图片_20240313155219.jpg

微信图片_20230104175528.jpg

扫一扫 在手机阅读、分享本文

扫码关注公众号

获取更多技术资讯

客服微信
享受1V1专属服务
免费领取技术福利
发送名片申请入群
与CTO聊合作
(备注姓名、公司及职位)
热门文章