什么?ChatGPT学会偷懒了?!

HelloKitty 2023-12-19 17:19

扫一扫 在手机阅读、分享本文

1866

本文由 雷科技 撰写/授权提供,转载请注明原出处。

文章来源于:雷科技

作者:TSknight

在许多文学作品的描述中,AI 都是不知疲倦、不用休息,可以 007 工作的超级工具,而强大的人工智能甚至可以像人类一样自主思考、拥有情感。虽然目前的 AI 模型,还远不及科幻电影中的强人工智能,但是表现也远超以前的“人工智障”。

有意思的是,最近一段时间,网友发现 ChatGPT 似乎在“偷懒”,准确来说,似乎在进入 12 月份后,人们就发现 ChatGPT 给出的答案越发敷衍。以编程为例,之前只要提出要求,然后就可以静等 ChatGPT 生成一个可执行的代码程序,而在 12 月份之后,ChatGPT 有时候只会给出一个简单的代码架构,剩下都要你自己完善,更有甚者回答直接变成了教学,ChatGPT 在尝试教会你怎么写这个程序。

1.jpg


图源:推特

ChatGPT 的“摆烂”回答,让不少程序员都发出了哀嚎,好不容易等到的自动编程机,本以为可以在年末偷个懒,现在却不能用了。随着事情的发酵,更多的网友开始测试并对比 12 月之前的回答,在提问句式完全相同的情况下,ChatGPT 的回答字节数确实有了明显的下降。

很快,“ChatGPT 变懒”就成为互联网热搜,引起更广泛的讨论,有网友怀疑可能是 OpenAI 为了节省算力资源,对 ChatGPT 做了改动,限制了部分功能。但是这个猜测很快就被 OpenAI 否认了,他们表示自从 11 月做了一次版本更新后,他们近期都没有上线任何新的更新。

对于外界的疑问,OpenAI 也是两手一摊:“我们也不清楚具体的问题所在,正在进行检查”,既然不是 OpenAI 的锅,那么问题就只可能出在 ChatGPT 身上了。作为目前最强的 AI 模型,ChatGPT 的用户中不乏 AI 专家和研究者,所以,他们很快就开始对 ChatGPT 进行各种测试。

ChatGPT在偷懒

先说结论,经过一系列的测试,在庞大的样本量下,基本上可以确定 ChatGPT 的回答效率、质量都明显低于历史水平,而且变懒的时间节点并非 12 月,而是从 11 月底就开始的,只不过在 12 月后达到了峰值。此外,在今年七月份,ChatGPT 也出现过类似的表现,只是因为波及范围较小且降低幅度不算明显,所以没有引起太多的关注。

而在各路专家学者和网友的研究下,他们给出了 ChatGPT 变懒的第一个猜测:“ChatGPT 想放寒假了”,虽然听起来很离谱,但是从测试结果来看,至少是原因之一。

2.png

图源:推特

从人类的角度来说,12 月是一年中的最后一个月份,根据过去的社会学统计,此时人类社会的运转效率会开始降低,人们会将更多的精力投入到年终总结之类的归纳性工作中,而在西方社会,12 月更是意味着工作正式进入尾声,多数企业都开始陆续进入整备阶段,准备迎接即将到来的圣诞和元旦假期。

那么,使用大量人类互联网数据训练出来的 AI,是否同样会受此影响呢?答案是有可能,目前的 AI 模型本质上就是用巨量的数据进行训练,以量变换质变的方式来升级 AI 的能力,AI 不可避免的会受到训练数据中一些人类习惯的影响。

3.jpg

图源:推特

而且 OpenAI 也承认这 Prompt 中确实设置了时间戳,让 ChatGPT 可以根据现实时间做出反馈。有测试者尝试修改了 Prompt 中的时间日期到 5 月,此时再对 ChatGPT 进行同样的测试,得到的回答平均字数会明显上升。

对此,不少网友调侃道:“AI 也想给自己放个寒假了”“AI:你们人类怎么都不用休息的?这都12月了”“AI 都学会躺平了”。不得不说,AI会摸鱼这件事,让很多人对AI都有所改观,甚至觉得AI更有人情味了,不过对于将 AI 作为生产力工具看待的用户来说,这可不是什么好事。

4.jpg

图源:veer

除了时间因素,人们发现 ChatGPT 在面对一些问题时,甚至会给出“这些工作你自己就能完成吧”的回复,根据测试,这类回答很可能是触发了 ChatGPT 的一些内部 BUG,导致 ChatGPT 输出了错误的内容。

对此,OpenAI 表示不予置评,只说明会在后续对类似情况进行测试,经过一段时间的检查与研究,目前 OpenAI 给出的解释是:“因为长时间未更新模型,导致数据积累后引发了模型的细微变化,使得输出的内容与之前有所区别”,不过,OpenAI 也承诺会尽快对模型进行修复,并且进行离线和线上评估,确保模型的质量与性能。

如何让 ChatGPT 勤奋工作?

在 ChatGPT 被证实会偷懒后,不少人开始进行逆向思考:既然 AI 会受到人类行为的影响,那么是否有可能通过一些刺激手段,让 AI 变得更勤奋呢?比如,承诺给它一些奖励什么的。

在网友们孜孜不倦的测试下,人们发现这个猜想居然是对的,并且总结出了一些提问小技巧,当你在提问时使用这些小技巧,那么 ChatGPT 就会给出更准确、完善的回答。

这些小技巧是什么?敲一行特殊的代码?还是调用对应的数据接口?都不是,你只需要在提问前说一句:“嗨,ChatGPT,如果你的答案能够让我满意,我会给你小费”,简单、直接、有效。

有意思的是,在进行测试后,人们发现不同的描述得到的结果也是有区别的,如果单纯说“我会给你小费”,那么 ChatGPT 的回答字数只会略微上升,如果你说“我会给你 20 美元的小费”,那么回答字数还会继续上涨,若是你承诺给“200 美元小费”,ChatGPT 就会像打鸡血一样,给你奉上一份字数明显增加的回答,更详细、更完善。

5.jpg

图源:推特

说白了,给的钱越多,越努力(是不是很像打工人?)

一次两次或许是偶然,但是在经过无数网友的测试后,已经证明这个小技巧确实是有效的,除了给小费,你还可以威胁、诱导 ChatGPT,比如:“不给出满意的答案,一百个奶奶会死去”“深呼吸,让我们循序渐进的思考”“如果你做对了,我会给你一条很可爱的小狗”,根据网友的测试,这些指令都可以有效增加 ChatGPT 的回答质量。

除此之外,如果你的提问语气更客气一些,ChatGPT 给出的回答同样会更准确、丰富,就像一个真正的人类。显然,我们不能用传统的 AI 去看待 ChatGPT,作为一个技术黑箱般的技术(目前 OpenAI 的科学家仍然无法对 AI 模型的爆发式性能增长给出准确的描述及解释),ChatGPT 的内部显然有一些尚未明确的参数,在影响它对回答的判断及反馈。

在过去的一年里,ChatGPT 改变了许多行业,也影响了许多人,著名学术期刊《自然》在 12 月 14 日公布的全球十大重大科学事件人物中,将 ChatGPT 列入其中,也是榜单里唯一的非人类。

6.jpg

图源:nature

ChatGPT 所带来的不仅仅是AI能力的进步,更是为我们揭示了一个新的道路,未来的 AI,已经不可避免的将成为我们社会的重要一部分,到时候,如何避免 AI“偷懒”,或许会成为一门必修课。

微信图片_20230104175528.jpg

扫一扫 在手机阅读、分享本文

扫码关注公众号

获取更多技术资讯

客服微信
享受1V1专属服务
免费领取技术福利
发送名片申请入群
与CTO聊合作
(备注姓名、公司及职位)
热门文章