Transformer八子：新硅谷「叛徒」铸就 AI 世界「至尊魔戒」

本文由 硅兔赛跑 撰写/授权提供，转载请注明原出处。

文章来源于：硅兔赛跑

作者：椎名

编辑：Zuri

“One ring to rule them all”

这是电影《魔戒》中的一句经典台词，用以形容一枚占据绝对统治地位的至尊魔戒。

通用人工智能领域，也曾出现过这样一枚“至尊魔戒”。它的登场，同样有着一个在学术圈来看违背祖训、惊世骇俗的论文标题——“Attention Is All You Need”。

站在 AIGC 如火如荼、各种类 GPT 模型层出不穷的 2023 年回望，当时这篇论文的标题有多“狂妄”，这枚魔戒的影响力就有多大。且与电影中的至尊魔戒带来彻底的毁灭不同，这枚 AGI 的“至尊魔戒”指向全新的创造。

那么，又是谁创造了这枚“至尊魔戒”？他们如今在何方，是否又在酝酿着新一轮的 AI 风暴？

现在我们都知道 OpenAI 开启了 GPT 时代，但再往前追溯，它是站在巨人的肩膀上才能采摘下来的成果，这个巨人的肩膀就包括了 2017 年发表的这篇“Attention Is All You Need”。

这篇论文提出了名声大噪的 Transformer 架构，是谷歌著名算法BERT中最重要的部分，更是 ChatGPT 末尾的“T”。

尔后，Transformer 势如破竹，从自然语言处理机器翻译开始，席卷整个 NLP 领域。

如今 6 年过去，ChatGPT 几乎是 Transformer 结下的最丰厚的果实，而耕种了 Transformer 架构的 8 位作者—— Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser 和 Illia Polosukhin，大多数现在不在谷歌工作。事实上，其中有七人不再驻足留恋于谷歌这颗苍天大树之下。

我们统计，“Transformer 八子”中，“转投小厂派”一人：Lukasz Kaiser 则已在 2021 年加入 OpenAI 担任研究员。

Llion Jones 是 8 人中目前唯一还在谷歌工作的，只是工作地点换到了日本。他曾打趣地表示，自己对论文作出了最有意义的贡献，是写下了 Attention is all you need 这个“大逆不道”的标题。

Llion Jones

其中，创业派 6 人选择了自立门户，且基本上从谷歌一出来就已经获得了 VC 的支持。

本文将着重梳理“Attention Is All You Need”中创业派的最新动向。

原 Google Brain 研究员 Aidan Gomez 的创业公司恐怕是里面最受瞩目的。

Aidan Gomez

Aidan Gomez 创办的公司叫做 Cohere，是一家成立于 2019 年的加拿大 AI 创企，专注于提供 NLP 模型，帮助企业改善人机交互，包括利用 Transformer 架构快速部署对话式 AI 聊天机器人、生成式搜索引擎、文本摘要总结、增强向量搜索等。这家公司的另外两位创始人 Nick Frosst 和 Ivan Zhang，也和 Aidan Gomez 一样具有学术背景，且三位创始人均是多伦多大学校友。

Cohere 之所以备受业内瞩目，除了创始团队的背景之外，也有一部分原因在于，它的投资者中还有图灵奖获得者 Geoffrey Hinton、知名人工智能研究员李飞飞、UC 伯克利大牛 Pieter Abbeel 的身影。这三位在当今人工智能领域都是执牛耳的人物。

这样的大牛背书之下，Cohere 的融资步伐也十分紧凑，分别于 2021 年 9 月获得 4000 万美元 A 轮融资，2022 年 2 月获得 1.59 亿美元 B 轮融资。

随着生成式浪潮在今年达到一个小高潮，今年 5 月，据《纽约时报》报道，Cohere 更是拿到了 2.5 亿美元的融资，估值达到 20 亿美元，本次投资者包括 CRM 领导者 Salesforce、著名芯片制造商 Nvidia、Inovia Capital 等。《纽约时报》写道，Cohere 也是为数不多在技术层面具备与 OpenAI 进行竞争的 AI 企业之一。有报道称 Cohere 现有员工已经达到近 200 人。

与 Aidan Gomez 选择的赛道类似，论文一作 Ashish Vaswani 在离开谷歌后，也参与创办了一家将 NLP 技术用于通用助手的公司 Adept，并任该公司首席科学家。在谷歌工作后，Vaswani 撰写了 19 篇论文，神经网络是他自 2011 年以来一直追求的共同主题。

Ashish Vaswani

Transfomer 八子中的 Niki Parmar 也加入了 Adept，任 CTO。值得一提的是，Niki Parmar 是这个论文 8 位作者里唯一的女性。

Niki Parmar

Adept 虽然成立较晚（2022 年 4 月才正式成立），但也赶上了这一波 AIGC 的浪潮：今年 3 月拿到了 3.5 亿美金的 B 轮融资，由 General Catalyst 和 Spark Capital 联合领投，Addition、Greylock、Atlassian Ventures、Microsoft、Nvidia、Workday Ventures 等机构跟投，还有众多的硅谷明星创业者作为个人投资人投资。

这轮融资将 Adept 的总融资额增至 4.15 亿美金，公司估值超过 10 亿美金，晋升独角兽。

不过，Adept 最新这轮融资已经和 Ashish Vaswani、Niki Parmar 没什么关系了。因为他们两都在 2022 年底先后离开 Adept，成立了一家名为 EssentialAl 的公司，目标是为企业构建软件以便于他们使用大型语言模型。今年 5 月，EssentialAl 宣布了由 Thrive Capital 领投的 800 万美元融资。值得一提的是，Thrive Capital 也是 OpenAI 的投资者。该公司仍处于隐身模式，尚未推出任何产品。一位接近该公司的消息人士称，Conviction 和天使投资人 Elad Gil 也参与了这轮融资。

值得一提的是，创业派除了上面几位年轻面孔，也不乏已经为谷歌效力 20 多年的老员工。

这位老员工就是 Noam Shazeer。他在 2018 年开发了 Mesh-Tensorflow，这是第一个用于在超级计算机上训练大型 Transformer 的实际系统。

Noam Shazeer

2021 年，Noam Shazeer 也离开了谷歌，与前谷歌工程师 Daniel De Freitas 共同创立了 Character.AI，致力于开发生成式 AI 聊天机器人 Web 应用程序。迄今为止，该公司已筹集了约 2 亿美元，估值接近独角兽，约有 20 名员工。

都说创业是一场冒险，那么，跨界创业更是冒险中的冒险。

Transformer 八子中， Jakob Uszkoreit 是当之无愧的冒险担当，他的创业去向应该是最具跨界色彩、也是最有难度的。

Jakob Uszkoreit

Uszekoreit 被认为是发明 Transformer 架构的幕后推手。GoogleBrain 工作期间，他组建了 Google 助手的语言理解团队，并参与了早期的 Google 翻译工作。

在谷歌工作了 13 多年之后，Jakob Uszkoreit也于 2021 年离开了谷歌，他创立的 Inceptive，是一家彻头彻尾的 AI+生命科学公司，致力于使用神经网络+高通量实验来设计下一代 RNA 分子。

到目前为止，该公司已筹集了 2000 万美元。

另一位跨界派 Illia Polosukhin，几乎是踏出了 AI 圈，投入到区块链浪潮中。

这位硅谷著名的 IT 天才，是 Google TensorFlow 人工智能开源项目的主要代码贡献者，还曾任 Google 深度学习小组项目主管，带队负责核心搜索算法业务近 10 年。他在 2017 年 2 月就离开了谷歌，创办了区块链底层技术公司 NEAR Protocol，吸引了包括 a16z、 MultiCoin Capital、Metastable、Coinbase Ventures 等区块链领域的著名投资机构。

Illia Polosukhin

这家公链技术公司可以托管去中心化应用程序和智能合约，被誉为“以太坊杀手”， 目前估值约为20亿美元。

从 Transformer 八子目前的故事走向来看，已有些许当年硅谷传奇——仙童“八叛徒”的风采。

这件往事里，“叛徒”是一个褒义词。在晶体管刚刚问世之际，8 位肖克利半导体实验室核心人物纷纷出走，先后创办了仙童、英特尔和 AMD 等著名的半导体公司。可以说， 1970 年前后的半导体浪潮中，大部分半导体公司都起于仙童。凭借“八叛徒”的智慧和创新精神不断开枝散叶，微处理器得以普及，计算机变得更加迅速和强大，硅谷更是一举成为了全球半导体产业的中心，引领着信息时代的浪潮。

如今这段佳话过去已近 70 年，硬件的突破已经出现边际效应，新一轮的信息革命蓄势待发，人类需要更加智能的技术来解决复杂的问题，创新的火种移交到AI领域，硅谷似乎迎来了新的八君子。

我们不难发现，和仙童“八叛徒”类似，“Transformer 八子”本身已经积累了丰富的经验和技术知识，他们在谷歌期间推动了人工智能领域的发展，离开谷歌进入到各行各业中，能让这些宝贵的资源和知识更广泛地应用于不同的领域和行业。

更重要的是，这一批离职的 AI 大牛，同样具备极高的创造力和冒险精神。

他们都曾表达过对现状的不满，追求更高的目标和更具冲击力的创造。

八子中的“创业派”代表 Niki Parmar 就曾表示，在谷歌，公司整体更注重改进现有产品，而不是创建全新的产品类别。

无论是离开谷歌创办自己的公司或加入其他创新型企业，他们能够更加自由地探索和实践新的想法和概念，从而推动技术的不断进步。

而且这些 AI 大牛们的离职，也有助于推动合作生态的形成。他们往往与其他优秀的科学家、工程师和创业者紧密合作，共同开展创新项目和研究。这种合作生态能够加速创新的过程，促进技术和思想的交流，为整个行业带来更多的机遇和突破。

正如八子中的另一位“创业派” Aidan Gomez 所说：“在谷歌这样的大公司内部进行探索的自由度有限，你无法真正自由地进行产品创新。从根本上说，（这家公司的）结构不支持它。所以你必须自己去建造这个结构。”

这一批离开谷歌的小分队，正在以更加自由的方式探索和发展新的技术和方法，进一步推动通用人工智能的进步。

这样来看，Transformer 八子的出现与出走，既是起势，或许也是某种顺势，正如当年的仙童“八叛徒”一样。

扫码关注公众号

获取更多技术资讯