AI周期大复盘｜七年轮回，2024会是下一个2017吗？

UpHonest 王子：首先我们将 2006 年开启的 AI 周期称为”深度学习“周期，而 2017 是“深度学习”周期的 Hype 顶峰。

为了说明这个问题，我们准备了一张图。

柱状图是全球 AI 的风险投资金额，绿色的线是投资增速，红色的线是 AI 在全球投资中的占比。

2017 AI 投资增速超过 200%，AI 投资占比达到 8%，是 2006 开启的这次 AI 创投周期的最高点。

数据来源：Statista

作为早期投资机构，我们也关注 AI 早期投资有怎样的变化，所以我们去看了早期投资风向标 YC 的投资变化，同样，2017 年 AI 类项目占比最高，2018~2021 年明显下滑。

数据来源：YC，UpHonest整理

数据来源：YC，Rebel Fund整理

不过有一个明显有差异的地方，第一张图显示，2022 年 YC AI 项目占比是超过 2017 年的，第二张图显示 2022 年 AI 项目占比则是低于 2017 年的。

超过的图是我们 2024 年统计的，低于的图是 YC 校友基金 Rebel Fund 2023 年初统计的，说明这一年多时间，YC 22 年大约有 10% 的项目转型做 AI 了。

所以，从创业和投融资的角度，2017 年是“深度学习”AI 周期 hype 的顶点。

2018 年无论是 YC 还是全球 AI 投资热情都下降了，部分原因是人们对 AI 的期望太高，但当时的技术无法达到人们的想象，大家可能还记得人们开始说 AI 是“人工智障”，甚至有些人说 AI 是骗局。而且这种降温在早期投资中的表现更明显。

不过在 2018 年之后，全球的 AI 投资复苏并且投资占比大约维持在 10%，说明存活下来的 AI 公司发展壮大，穿越周期，持续吸引风险投资。

UpHonest 王子：是的。

但如果你足够敏锐，有可能会在 2020 年嗅到空气中新一波 AI 浪潮来临的水汽，因为 GPT-3 的 API 接口是在 2020 年开放的，足够敏锐的 Jasper，就是抓住了这个窗口期，从裁员、增长停滞的边缘起死回生。

UpHonest Eric：技术变化。

AI 是一个很大的范畴，自 1956 年 AI 正式作为一门学科成立以来，已经经历了好几个周期，其中有很多技术已经渗透到了日常生活中，比如“搜索引擎”、“推荐算法”等等，犹豫过于普遍，大家甚至已经不再给它们贴上人工智能的标签了。

上一个周期我们把它称为“深度学习”周期。深度学习作为机器学习的学习方式之一，之前在学界是饱受质疑的。大家普遍认为“深度神经网络是永远无法被训练的”，这使得有些学术期刊甚至都不曾接受有关神经网络的论文。

直到 2006 年，被誉为深度学习之父的 Geoffrey Hinton 与他的两个学生成功训练了一个多层神经网络（Deep Belief Networks），在手写数字识别的任务上（标准 MNIST 字符识别数据集）实现了 98.75% 的正确率。随后，又在语言识别任务上打破了记录，成功为深度学习正名。

直到 2012 年的 ImageNet 挑战赛，Hinton 带着得意门生 Alex 和 Ilya 用 AlexNet 碾压里其他参赛者，树立出了当时深度学习（大量数据+可规模化的算法+GPU 计算）的范式，成为了后续多年的研发基石。到 2015 年 ResNet 出现，实现首次 AI 在图像分类任务中对人类平均水平的超越。

UpHonest Eric：没错。2017 年，随着技术的不断成熟，苹果在最新发布的 iPhone X 中推出了 Face ID，达成技术向更大的消费者群体的破圈。在这个周期中类似的破圈还有像 Amazon Echo与 Alexa 的发布、AlphaGo 战胜李世石等。

当然，在业界将一种范式能力推到极限的同时自然也会遇到瓶颈。当时的 AI 可以在监督学习和迁移学习的模式下解决一些特定的问题。但涉及到需要推理的复杂任务时就捉襟见肘了。当时产业届的一些通用人工智能的助手也被大家戏称为人工智障。

Hinton 在 2017 年末表示，他曾提出的突破性方法应该被放弃，目前神经网络运作的模式不是大脑的工作方式，一切需要重新开始。为了让神经网络能够自行变的智能，即所谓的无监督学习，并不需要将所有的数据都做标注。

回过头来看生成式 AI 的发展历程：

2017 年，Google 在 Attention is all you need 中，将 Transformer 作为特征提取器取代了已经诞生了 40 年的 RNN 序列结构。Transformer 特有的并行结构使得他可以利用大量的算力和数据进行训练。

UpHonest Eric：上一波深度学习中提及的大量的数据指的是 ImageNet 这种大型的标注数据；而 Transformer 范式下提到的数据，是海量的未标注的互联网数据，这两个数据规模的差距是极大的。而且并行结构下，可以使用的算力规模也不是一个量级的。

2018 - OpenAI 发表了 GPT，即用 Transformer 作为特征提取器，使用大量未标注数据进行预训练的生成式通用模型。

基于这个范式，OpenAI 在 2020 年推出了具有 1750 亿参数的 GPT-3。在证明 Scale Law 的同时，将大型语言模型的从 AI 界推向了整个科技界。

2022.11.30 - ChatGPT 发布，推出仅两个月就月活破亿，成了史上增长最快的消费级应用。

同样的破圈案例：包括 Midjourney 的生成画作获得艺术比赛金奖（2022.10.18）、Sora 生成的视频出圈等等。

参考上一个周期的发展路径，大模型（文字 or 多模态）正在处于将基于 Transformer 的范式推到极限的过程中。我看到了 GPT4 的性能提升，也会看到 GPT5、GPT6、或者其他模态模型的发展，很多上一波 AI 没能完成任务已经是现在 LLM 的能力范畴之内。并且，参数、数据、算力的 Scaling 还在继续。Transformer 的极限在哪？能不能达到大家都在追逐的 AGI 还是未知数。

UpHonest Eric：因为在那个时间点，大家都想做的 C 端的智能应用，但是由于技术的限制，大众接触到了不成熟的产品，反响很差。这就使得资本和市场的关注度快速下降。

举一个，最具备代表性的案例就是 Conversational AI。2015 年开始，大厂小厂创业公司都想做面向 C 端用户的通用型的智能助理，用 Conversation UI 取代 GUI 成为人机交互的主要入口。有一波热钱涌入了这个赛道，诞生出了不少明星公司。

这是截止 2015 底的 Landscape：

. Magic 是 YCW15 的公司，Sequoia Capital、SVA、Slow Ventures 等投资

. Clara Labs 是 YCS14 的公司，Sequoia Capital、SVA、First Round、Greg Brockman 等投资

. Operator 是由 Uber CoFounder Garrett Camp 联合创立，Greylock、GGV 等投资

包括 Apple、Google、FB、Microsoft、Amazon 在内的大厂都在 2016 年各自的发布会上发布了 Bot 类的产品和开发平台。

但现在看来，当时面向 C 端的商用智能助理产品，无论是巨头还是创业公司，全部达不到用户预期。FB 平台上的 Bot 失败率高达 70%、Microsoft 的 Chatbot Tay 在 Twitter上线一天就被迫下架、Operator 的Co-Founder&CTO 也表示，当时Pre-Transformer的模型处于起步阶段，Operator 过早的进入市场找不到 PMF。总的来说，底层技术受限是产品不 work 的最主要原因。

涉及通用型的智能助理，就不得不提及大脑系统 1 和系统 2 的理论。这个理论曾经多次被 Yoshua Bengio、Andrej Karpathy 等大佬使用类比智能系统（AI Agent）的工作。

. 系统 1 是快思考：无意识、快速、不怎么费脑力、无需推理

. 系统 2 是慢思考：需要调动注意力、过程更慢、费脑力、需要推理

当时的智能系统只能完成部分第系统1任务，类似判断出用户对话中的逻辑的推理工作难以完成。比如：

. 用户让 Siri 推荐一个餐厅：Siri 会推荐餐厅

. 用户问 Siri 除了推荐餐厅还能推荐什么？Siri 还是会推荐餐厅

. 用户让 Siri 别推荐餐厅。Siri 依然会推荐餐厅

当时大部分的产品架构，深度学习相关的语音识别、语义理解只占到整个产品的不到 10%，大部分的开发在于对话管理系统，来替代系统 2 的职能。简单来说就是识别关键词、填表格、再交给后端执行任务。

类似被寄予厚望的还有智能音箱。虽然出货很不错，但是万众期待的 killer app 并没有出现，智能与智能之间基本没有差异性，大部分高频使用的技能都没有商业价值——用户用的最多的就是“查天气”。

UpHonest Eric：这一波生成式 AI 的出圈就是 ChatGPT，想必大家日常生活中也会或多或少的使用，在 YC 23 年的两个 Batch 中我们也看到非常多 ChatBot 应用，后来相继出现了 Copliot、Agent 的概念，其实他们的产品形态都是挺相似的。

从用户反馈来看，显然 ChatGPT 是有 PMF 的。上一波智能系统不能完成的任务，现在很大一部分都可以实现了。核心原因肯定是底层技术的升级：

. 大模型能力的提升自然不用多说了，呈现出了一定程度的逻辑能力和推理能力。

. 模型拥有使用工具的能力，API 的接入，让应用有了闭环交付任务的能力。

那回答你刚才那个问题，基于现在技术，现在我看到的初创公司主要有几个尝试的方向：

1.第一个方向是和上一波一样，用新技术再次尝试：面向 C 端用户的通用型个人助手。

2.目前看来，现在的技术还是难以去支持一个通用的复杂任务推理框架。正如上一波 C 端助手做不下去被迫转 B 端类似。如果将任务局限在一个独特的 Vertical 里，Agent 的表现就会更稳定可靠。

打造一个让 Agent 拥有理解任务、规划任务、使用工具并拥有记忆的推理框架。

3.第二个方向是通用的对话系统 + 特殊的 Domain：面向垂直细分的 AI 专家。

a.这里的 Domian 可以是行业的细分，比如像 法律、医疗、金融 这些数据丰富、单位价值较高的行业，已经出现像 Harvey、Hippocratic 这样的明星公司。

b.可以是面向 C 端的细分场景，比如 社交、购物、出行、游戏等等。

UpHonest Eric：是可以的。比如法律行业的 Ironclad、金融行业的 AlphaSense，包括 Expedia 的 AI 出行助手也得到了不错的反响。

UpHonest Eric：首先，Embodied AI 的研究仍然处于非常早期的阶段。

. 如果把它作为 Transformer 衍生的角度来看的话，目前主流的像 PaLM-E、RT-2 目前仍处于GPT-1的水平。

. 如果把它作为一个全新的领域去攻克的话，那 Embodied AI 仅仅处于 ImageNet 出现的阶段。

但，无论怎么去看，高质量的训练数据依然是限制模型发展的重要障碍之一。值得一提的是，Sora 的出现可能会对 Embodied AI 的进展起到意想不到的效果。如果 Sora 在训练视频生成能力的同时泛化出模型对于真实物理世界的认识和感知的话，这对于机器人的训练是非常有帮助的。

当然了，虽然 Embodied AI 仍然处于非常早期的阶段，但是我觉得 Embodied AI 的发展进程可能会比大模型发展的周期更快。因为资本和人才已经见证过了大模型这个成功案例。所以支持下一波大机会的资金和人才信心和意愿也会更强，基础设施也会更完备。

UpHonest 王子：数字化渗透率低的传统行业，有可能跳过软件阶段，直接进入 AI 阶段，类似新兴市场从使用现金直接转向移动支付。