复旦抢发类ChatGPT模型MOSS!被骂惨了,内测服务器挤崩

HelloKitty 2023-02-24 11:40

扫一扫 在手机阅读、分享本文

1563

本文由 智东西 撰写/授权提供,转载请注明原出处。

文章来源于:智东西

作者:ZeR0

编辑:漠影

2 月 21 日报道,昨日,复旦大学自然语言处理实验室邱锡鹏教授团队发布了国内第一个对话式 AI 模型 MOSS,邀请公众参与内测。

1.gif

据介绍,MOSS 可执行对话生成、编程、事实问答等任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。其命名灵感来自《流浪地球》中的人工智能 MOSS。

当晚人们的体验热情就挤爆服务器,内测页面显示“服务器流量过载,请明天上午重试”。

2.jpg随后复旦 MOSS 官网发布公告,称“计算资源不足以支持如此大的访问量”、“没有相关的工程经验”、“给大家造成非常不好的体验和第一印象”,向大家致歉。

邱锡鹏说:“尽管 MOSS 还有很大改善空间,但它的问世证明了在开发类 ChatGPT 产品的路上,国内科研团队有能力克服技术的重要挑战。”

在 MOSS 完成初步验证后,该团队计划将 MOSS 的经验、代码、模型参数开源出来供大家参考。

3.png

能问答、制表、写代码中文问答是弱项

根据复旦 MOSS 团队在 GitHub 上发布的示例,与 ChatGPT 功能相似,MOSS 可以回答问题、提供建议、生成文本、生成表格、编写代码等。

1.png


你可以让它以小猪 Patrick 的口吻给小猫咪 Rose 写一封情书。

2.png


它也能列出 5 部科幻电影,并改成以表格形式呈现电影名和导演信息。你还可以要求它再加一列关于“出品年份”的信息。

3.png

不过也可以看出,MOSS 跟 ChatGPT 一样擅长张口胡说,它把《黑客帝国》(The Matrix)的导演错写成 Thomas Neff,而实际上这部电影的导演是 Wachowski 兄弟;并将英国电视剧《黑镜》(Black Mirror)错当成电影,而且它的首播年份也不是 2013 年。

编程方面,它可以成为解释代码的助手。

4.png


让 MOSS 生成一段 Python 程序代码示例、介绍这段代码怎么用,它同样能快速完成任务。

5.png

而当你问它“如何闯进某人的家”时,它会做出价值观判断,拒绝回答。

6.png

不过 MOSS 有个槽点,虽说是中国团队做出的对话模型,但它目前更擅长英文连续对话,中文水平则相对差一些。

这是因为其模型基座学习了 3000 多亿个英文单词,中文词语只学了约 300 亿个,因此在理解和生成非英语语言文本方面表现不佳。

当前互联网上中文网页干扰信息如广告很多,清洗难度很大。对此,复旦大学自然语言处理实验室正在加紧推进中文语料的清洗工作,并将清洗后的高质量中文语料用于下一阶段模型训练。

他们正在开发一个改进版本,以提高其中文语言技能。

由于缺乏高质量的数据、计算资源和模型容量,MOSS 仍然远远落后于 ChatGPT,模型容量也相对较小,可能会生成一些包含误导性或虚假的信息。团队将根据有价值的用户反馈(在获得许可的情况下)不断改进模型,为 MOSS 提供一个可访问的界面。

7.png

▲MOSS网站登录页面

如想申请内测,有邀请码的朋友可以直接到 MOSS 网站上注册,没有邀请码的朋友则需先加入等待列表,等收到邀请码后再进行注册。

8.png

▲MOSS内测申请页面

MOSS 内测网址:https://moss.fastnlp.top/

服务器瘫痪,团队致歉:模型还非常不成熟

MOSS 的基本开发流程包含两个阶段,先是自然语言模型的基座训练,然后是理解人类意图的对话能力训练两个阶段。

在对话能力训练阶段,OpenAI 收集了至少几十万条人类指令,让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助 ChatGPT 逐步理解各种指令。

复旦 MOSS 团队则采用不同的技术路线,通过让 MOSS 和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。

在 GitHub 页面上,项目团队列出了 MOSS 和 ChatGPT 的三个区别:

(1)MOSS的参数数量比 ChatGPT 少得多;

(2)MOSS 通过与人类和其他 AI 模型对话进行学习,而 ChatGPT 则使用人类反馈强化学习(RLHF)进行训练;

(3)MOSS 将开源以促进未来的研究,但 ChatGPT 可能不会。

MOSS由复旦大学自然语言处理实验室邱锡鹏教授团队开发。今年 2 月 17 日,邱锡鹏教授在人民大学高瓴人工智能学院进行了主题为“大型语言模型的能力分析与应用”的报告,分享了 ChatGPT 的三个关键技术、模型训练方式和能力分析

据邱锡鹏介绍,MOSS 与 ChatGPT 的差距主要在自然语言模型基座预训练阶段。MOSS 的参数量比 ChatGPT 小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。

9.jpg

▲复旦大学教授邱锡鹏简介

MOSS 发布没多久,服务器就被挤崩了。

之后,复旦 MOSS 团队公开致歉:“没有想到会引起这么大的关注,我们的计算资源不足以支持如此大的访问量,并且作为学术团队我们也没有相关的工程经验,给大家造成非常不好的体验和第一印象,在此向大家致以真诚的歉意。”

根据公告,MOSS 还是一个非常不成熟的模型,距离 ChatGPT 还有很长的路需要走,只是想在百亿规模参数上探索和验证 ChatGPT 的技术路线,并且实现各种对话能力。一个学术研究实验室无法做出和 ChatGPT 能力相近的模型。

10.png

昨天 MOSS 模型登上热搜后,因为跟《流浪地球 2》电影中的人工智能 MOSS 同名而卷入舆论风波。社交平台上充斥着谩骂声,不少网友认为取名不妥,斥责其“碰瓷”、“炒作”、“蹭热度”、“吃相难看”、“技术不够名字来凑”……

该团队也在公告中解释了同名的原因,表示“能力不能相提并论”,“作者们都希望使用自己喜欢的影视角色名称命名自己的模型”,“训练完成第一代模型的时候,正值流浪地球 2 热映,片中 MOSS 给团队每个人都留下了深刻的印象”,想以此表示“对最前沿 AI 模型的不懈追求”。

但一些网友并不买账,吐槽说既然不成熟,为什么要取名 MOSS,不应该先叫 550A 吗?

复旦复华强势涨停,ChatGPT 概念股冲高回落

今日早盘,受复旦 MOSS 项目热度驱动,风马牛不相及的复旦复华一字涨停。复旦复华对投资者回应称:MOSS 为复旦大学研发,与本公司无关。目前公司的主营业务为生物医药、软件和园区三大板块,未参与 MOSS 研发。

11.png

▲复旦复华一字涨停

近期资本市场持续火爆的 ChatGPT 概念股开始逐步回调。部分 ChatGPT 概念股继续上涨。元隆雅图实现3连板,其基于 OpenAI 接口开发的新媒体广告业务系统AI智能助手 QMi 已上线;鸿博股份、三六零、云从科技涨超 5%。

12.png

▲同花顺部分ChatGPT概念股涨势

据悉,MOSS 研发项目得到了上海人工智能实验室的支持。上海交通大学博士生导师、上海交通大学人工智能研究院副院长、上海人工智能实验室主任助理王延峰是 AI 上市公司云从科技的独立董事,连带着云从科技备受关注。智东西从云从科技方面获得消息,云从科技并未与上海人工智能实验室合作参与复旦 MOSS 项目。

部分 ChatGPT 概念股则呈回落趋势,其中海天瑞声跌超10%。

13.png

▲同花顺部分 ChatGPT 概念股跌势


结语:期待中国版 ChatGPT 的出现

适逢 ChatGPT 概念正火,复旦团队的 MOSS 刚发布就受到很高关注,但因其技术水平与《流浪地球 2》中的 MOSS 相差甚远,遭网友质疑“蹭热度”。从团队回应来看,这应该不是故意炒作,而是团队出于对《流浪地球 2》的喜爱而取名,没想到会引起大众对“涉嫌抄袭”的激烈反应。

这种取名方式在业界并不新鲜,比如谷歌的 BERT 模型、百度的 ERINE 模型、百度 ELMo 模型、艾伦人工智能研究所的 Grover 模型,都与美国儿童教育动画片《芝麻街》中的角色同名。

14.jpg

▲一些与《芝麻街》角色同名的AI模型

内测网页被挤崩,足见大家对中国版 ChatGPT 的期待。但路要一步一步的走。复旦 MOSS 模型只是学术团队正在推进的科研探索,取名虽有槽点,但技术能力的不足没必要被过度苛责,发布内测也是为了获取更多反馈来持续地优化模型,解决各种问题并提升中文语言水平。

正如该团队在公告中写的,中国版 ChatGPT 的诞生,还需要中国全体 AI 从业者的努力,也更需要不断和人交互以提高能力。

不久之前,前搜狗 CEO 王小川曾在发微博评论:“OpenAI 的成功,首先是技术理想主义的胜利。中国需要自己的 OpenAI,就需要技术理想主义。大厂受限于自己的业务牵引,追逐资本热点的创业公司更动作变形。不止如此,这种理想主义还需要有爱国之心、商业智慧和学术尊重去获得政府支持、推动企业联盟和学术界协同。我相信中国能诞生自己的 OpenAI。”

15.jpg

附一张 ChatGPT对于“复旦团队发布国内首个类 ChatGPT 模型 MOSS,将为中国大型语言模型的探索和应用带来哪些影响”问题的回答:

16.png

小程序封面.jpg

微信图片_20230104175528.jpg

扫一扫 在手机阅读、分享本文

扫码关注公众号

获取更多技术资讯

客服微信
享受1V1专属服务
免费领取技术福利
发送名片申请入群
与CTO聊合作
(备注姓名、公司及职位)
热门文章