New Bing集成GPT-4？确有依据还是空穴来风？

本文由 51CTO技术栈 撰写/授权提供，转载请注明原出处。

文章来源于：51CTO技术栈

作者：徐杰承

在微软 New Bing 发布前，绝大部分人对其的预测都是——New Bing 的整体表现将会与 ChatGPT 极其相似，即使二者在细节层面存在某些差异，用户也应当无法从体验角度发现这些区别。然而随着 New Bing 的发布与更新，越来越多的人开始怀疑，微软与 OpenAI 此前那宗 100 亿美元的交易，似乎不止关系到 ChatGPT 这一个“宝贝”。

微软官宣：集成全新模型

虽然 New Bing 与 ChatGPT 都基于 GPT 3.5 系列模型微调而成，但在 2 月中旬，微软宣称已将一种全新的 AI 语言模型集成到了 New Bing 之中，使其能够拥有比 ChatGPT 更优秀的表现。虽然时至今日微软仍没有明确表示新 AI 模型的来源及相关数据等信息，但部分业内人士猜测该模型很可能与 OpenAI 迟迟未公开的 GPT-4 有关。

其实早在去年年底，业内上便已流出了大量关于 GPT-4 模型的传闻，部分消息称 GPT-4 模型或将拥有超 100 万亿参数（GPT-3 为 1750 亿），也有专家预测 GPT-4 将更加注重成本控制，模型参数量相比于 GPT-3 不会有太大变化。据当时部分外媒报道，GPT-4 会于 2023 年 2 月左右发布，虽然通过近期 OpenAI 的种种表现及其 CEO 的发言来看，该信息并不准确。但据《纽约时报》最新消息称：GPT-4 模型将有可能于 2023 年上半年发布。

且相关测试数据也显示，更新后的 New Bing 潜在模型比 ChatGPT 的延迟更低。此外，从实际的对话表现来看，目前的 New Bing 与 ChatGPT 也存在着一定区别，在与用户对话过程中，New Bing 表现出了比 ChatGPT 更自然、更本能的状态。但当对话持续性增加时，New Bing 也出现了像 GPT 系列模型一样的重复回应趋势。

唯一解决方案

在 ChatGPT 发布期间，OpenAI 曾通过其官方博客发文表示：公司已经“从他们的早期模型如 GPT-3 和 Codex 的部署中吸取了教训”，选择使用 RLHF(利用人类反馈信号直接优化语言模型)和监督学习的混合模式来训练 ChatGPT。据 OpenAI 介绍，使用 RLHF 方式可以一定程度上降低 ChatGPT 输出恶意及错误信息的概率。

但从 New Bing 的角度来看，彼时的微软迫于与谷歌 Bard 的竞争，不得不加快 New Bing 的训练周期。微软在启动 New Bing 项目到发布期间的不到3个月时间内，是不足以重建完整的 RLHF训练通道并进行整合的。因此微软在进行 New Bing 的模型训练时所采用的应当依然是传统的监督学习模式。这也导致了 New Bing 自发布以来，一直受到由开发仓促、缺乏前期训练所带来的准确性问题的困扰。

而据相关消息显示，微软目前正在通过多种方式尝试解决 New Bing 生成内容准确性的问题并已取得了一些成果，但优化方案中并没有明确提及 New Bing 使用了 RLHF 模式重新训练模型。对此，部分专家推测，微软很有可能是通过集成其他 AI 语言模型生成过滤器的方式对 New Bing 的生成内容进行了优化。

前 Playment AI 研究员 Khamisi 也在自己的个人博客中分析了这个问题：“无论 ChatGPT 还是目前公开的其他模型都无法很好的控制生成恶意信息及虚假信息，如果微软希望解除对 New Bing 的问答次数限制，最好的方式就是等待 OpenAI 给出一些具备该能力的模型并在 New Bing 中使用它们，如今看来微软似乎已经在某种程度上做到了这件事。”

如胶似漆的合作阶段

此外，另一点值得注意的是，尽管 OpenAI 和微软的合作关系一直十分密切，但在“关于 ChatGPT 的合作”之前，二者之间的关系还远未达到“同穿一条裤子”的程度。在此前的种种合作及交易中，当涉及到数据集以及各自的基础设施时，他们可以说从未对彼此敞过开心扉。

然而就在今年年初，微软宣布了与 OpenAI 长期合作伙伴关系的第三阶段，除了数年中数十亿美元的投资外，更重要的一点是：微软在该阶段中允许了 OpenAI 公司及其开发人员通过 Azure 访问微软内部最好的 AI 基础设施、模型和工具链。而在此之后，OpenAI 也立即进一步加大了在模型数据方面的投入。

据外媒报道：从 1 月末开始，OpenAI 已将其数据标记工作外包给了一家于旧金山的数据公司，试图依靠更准确的数据为其部分 AI 模型建立更加优质的内容过滤器。而 OpenAI 的这一举动，基本可以看做是在得到支持后对微软表示衷心。结合以上种种现象，我们有理由相信微软目前很可能已经获得了 GPT-4 模型的部分使用权限，并已开始尝试将其整合进自家搜索引擎及对话机器人之中。

写在最后

总之无论如何，如今微软与 OpenAI 的合作已经进入深水区，且 GPT-4 的公开发布也已指日可待。如果 OpenAI 希望在正式发布前对 GPT-4 进行更加完善的测试，那么拥有海量数据及用户的老大哥微软无疑是他们最好的选择，而从 ChatGPT 中获利无数的微软也大概率会欣然接受这位小老弟的请求，毕竟在如今的 AI 圈内，已经没什么能比 GPT 模型的吸金能力更强了。

但从此前多方对 GPT-4 模型的推测来看，即使目前 New Bing 已经在内部实现了对 GPT-4 模型的集成，其应当也只是依靠模型对 New Bing 的部分现有功能进行了优化，并未将 GPT-4 的创新性能力公之于众，这一举措也的确符合微软一项保守的行事风格，更何况其竞争对手谷歌不久前刚通过 Bard 展示了一波什么叫“心急吃不了热豆腐”。虽然截止目前，无论是微软还是 OpenAI 都仍未向外界透露更多有关 New Bing 与 GPT-4 的消息，但了解到他们当前的一些动态后，相信每个人对于未来的期待都又增加了一分。

参考链接：

https://blogs.microsoft.com/blog/microsoftandopenaiextendpartnership/

https://www.nytimes.com/technology/microsoft-ai-chatgpt-bing.html

https://time.com/6247678/openai-chatgpt-kenya-workers/

https://analyticsindiamag.com/13-not-to-miss-research-papers-on-llms/

扫码关注公众号

获取更多技术资讯