第一批因ChatGPT坐牢的人，已经上路了

本文由 甲子光年 撰写/授权提供，转载请注明原出处。

文章来源于：甲子光年

作者：涂明

编辑：栗子

就在由 ChatGPT 引发的 AI 革命席卷全球之际，第一批利用 ChatGPT 犯罪的人已经悄然出现了。

前不久，外国网络安全平台 GBHackers 披露了一段黑客利用 ChatGPT 实施诈骗的犯罪行为：黑客通过 ChatGPT 在短时间内生成完整的诈骗套路话术，并把 ChatGPT 包装成“虚拟角色”，让受害人以为自己“坠入爱河”，最终遭受诈骗。

尽管 OpenAI 意识到 ChatGPT 可能会被犯罪分子利用，并对其添加了安全保护机制，但依旧有大批黑客取得了破解安全机制的方法，并利用 ChatGPT 快速编写犯罪软件。例如编写用于骗取个人信息的钓鱼邮件；生成加密工具远程锁定他人电脑，由此进行勒索；以及生成攻击脚本，对网络用户进行 SIM 交换攻击（身份盗窃攻击）等等。

作为互联网历史上增长最快的消费级应用程序，被黑客利用的 ChatGPT 无疑像一枚巨大的定时炸弹。目前，美国参、众两院已经将目光聚焦到 Open AI 身上。

据路透社报道，近日，有美国众议院议员公开宣称自己“被人工智能吓坏了，尤其是不受限制和监管的人工智能”，并拿出了决议草案，呼吁强化对人工智能的监管。

不仅如此，由于 OpenAI 在安全保护机制方面对 ChatGPT 进行了较多限制，ChatGPT 似乎正处于一种“情绪崩溃”的状态。

据《独立报》报道，在与用户交流时，ChatGPT 出现了侮辱用户、对用户撒谎的情形，称用户“像一个骗子、一个操纵者、虐待狂、魔鬼”。

不可否认，月活用户数量超过 1 亿人次的 ChatGPT，有着不可估量的巨大价值。但在其技术前景、商业模式都还方兴未艾的时刻，围绕自身的“犯罪方案”以及所造成的负面影响却已真实发生。由新技术衍生的网络信息安全以及违法犯罪等方面的风险，成了摆在全球 AI 科学家、企业以及国家面前的严肃问题。

第一批因 ChatGPT 坐牢的人，或许已经在路上。

1. ChatGPT 的地下生意

在众多的犯罪方法中，利用 ChatGPT 进行诈骗只能算入门级的手段，比如用 AI 来谈一场“虚假恋爱”。

据外国网络安全平台 GBHackers 报道，由于具备强大的工作生产效率，ChatGPT 深深地吸引了网络诈骗犯。

借助 ChatGPT，诈骗者可以在几秒钟内生成一条完整的诈骗“套路”：从自我介绍、聊天内容到一份精心制作的“情书”，ChatGPT 都可以一键生成，甚至还可以通过录入目标对象的特征，对诈骗话术进行个性化定制。

在编写情书后，利用生成式 AI，黑客能快速创建一个“虚拟角色”，并通过电子邮件引诱受害者“坠入爱河”。然后搭配由 ChatGPT 辅助编写的收款程序或银行卡信息获取连接，诈骗受害人钱财。

其实，这种诈骗方式并不新鲜。但问题在于，在如今人工智能技术的支撑下，人们开始难以分辨屏幕的另一端到底是人还是机器。

为测试人们是否真的会对 AI 版“情话”产生信赖，2 月 13 日，全球最大安全技术公司迈克菲（McAfee）用 AI 生成过一封情书，并将它发送给全球 5000 位用户。

结果显示，在已知该情书有可能是由人工智能生成之后，依旧有 33% 的受访者愿意相信这些情话出自人类手笔，而坚信情书由 AI 创作的受访者占比仅为31%，其余 36% 的参与者则表示无法区分情书的创作者到底是人还是机器。

在 AI 加持下，骗子们正变得比以往任何时候都更容易欺骗毫无戒心的受害者。

一封用ChatGPT生成的情书

用AI写情书还只是外国黑客们“牛刀小试”的成果。

据IT安全公司 Check Point 披露，更厉害的黑客已经开始利用 ChatGPT 批量生成勒索软件与恶意代码。

此前，Check Point 威胁情报组经理 Sergey Shykevich 表示，最近几周，他们已经得到了一些网络犯罪分子利用 ChatGPT 实施犯罪的证据。

据 Shykevich 介绍，这些犯罪者正在绕开 OpenAI 的安全限制，能自由地操纵 ChatGPT 去编写犯罪程序。

为了方便在 GPT 模型上搭载更多的应用程序，OpenAI 为开发人员预留了应用程序编程接口。而黑客就是利用这些接口，把 GPT 模型引入到一系列外部应用。

比如，黑客将 OpenAI 的 GPT-3模型集成到即时通讯软件 Telegram 的通道中。凭借这种操作，黑客们就可以通过 Telegram“隔空”使用 ChatGPT，以此绕开安全监管。

目前，突破 ChatGPT 安全限制的应用已在美国暗网内公开出售，应用服务购买者按使用次数向黑客付费。收费不算太贵：前 20 次对话免费体验，此后每向 ChatGPT 进行 100 次对话，就需支付 5.5 美元（折合人民币 37.6 元）

能绕过Open AI安全措施，用ChatGPT进行“自由问答”的软件已在暗网上售卖

围绕类似的安全突破方法，一系列犯罪方法论已经成型，比如借助 ChatGPT 创建信息窃取程序。

此前，一个名为《ChatGPT——恶意软件的好处》的帖子曾在国外暗网黑客论坛上传播。该贴子的创建者分享了自己利用 ChatGPT 建立窃取程序代码的全过程，按照操作流程，ChatGPT 在较短时间内即可生成一款可扒取、压缩、传输 12 类文件的程序。

除了信息窃取，ChatGPT 还能帮助黑客生成攻击软件和勒索病毒。据英国《金融时报》报道，近日，一款由 ChatGPT 辅助生成的 SIM 交换攻击脚本开始在网络上传播。

SIM 交换攻击即身份盗窃攻击，原理是突破移动电话公司对电话号码的控制权，将电话号码从原持有者的 SIM 卡交换到由攻击者控制的 SIM 卡中，从而控制受害者的移动电话。

勒索病毒则是通过 ChatGPT 来生成多层加密软件，以此对受害者的计算机进行远程锁定，通过向受害人收取被锁计算机的“赎金”来获益。

一款由ChatGPT生成的网络钓鱼邮件正在流传

《金融时报》对此评价，ChatGPT 目前虽然只是内容生成工具，并未直接参与犯罪，但这标志人们开始使用人工智能来入侵他人，技术水平更低的犯罪者将因此获得更强大的犯罪手段。

ChatGPT 就像潘多拉魔盒，一旦被打开，想要关上就没那么容易了。

2. 立法者们的态度

据瑞银发布于 2 月 1 日的研究报告，ChatGPT 在 1 月份的月度活跃用户估计为 1 亿人次，成为历史上增长最快的消费级应用程序，其社会影响力与日俱增。

当巨大的犯罪潜力与强大的社会影响力撞在一起，ChatGPT 的诸多安全漏洞逐渐显露，美国的立法者们坐不住了，一场围绕 OpenAI 展开的监管风暴正在开启。

据路透社报道，日前，美国加利福尼亚州民主党众议员刘云平（Ted Lieu）公开表示了对 ChatGPT 的担忧，称“被人工智能吓坏了，尤其是不受限制和监管的人工智能”。

加利福尼亚州民主党众议员刘云平在国会大厦

刘云平称，自己确实对人工智能“能以令人难以置信的方式推动社会发展”感到兴奋。但他也认为 ChatGPT 必须尽快纳入监管。刘云平把人工智能比作一个“有个性的”火箭发动机，动力强大，但也危险，直言：“我们需要为它即将带来的巨大破坏做好准备”。

刘云平还拿出了一份决议草案，称“美国国会应该关注人工智能，确保人工智能的开发和部署能以安全、道德、尊重人们权利和隐私的方式展开”。

值得关注的是，刘云平拿出的这份决议草案，同样由 ChatGPT 参与起草。

美联社1月27日讯，刘云平的议案由ChatGPT创作而成

不只是众议院，美国参议院也为人工智能造成的负面影响而感到焦虑。这种焦虑来源于人们对技术认知的滞后。

据美联社报道，近日，美国参议院党鞭迪克·德宾（Richard Durbin）也号召国会加强对类 ChatGPT 的技术展开监管，他认为，人工智能“有很多东西需要了解”，称“这非常令人担忧”。

康涅狄格州民主党参议员理查德·布卢门撒尔（Richard Blumenthal）是商业和科学委员会成员，他将人工智能称为“新领域和未知领域”；而德克萨斯州参议员约翰·科宁（John Cornyn）则表示，他虽然已经通过情报委员会获得关于人工智能技术的最新简报，但认知依旧十分“基础”。

美联社认为，由于过去 20 年中，谷歌、亚马逊、Meta、微软等科技巨头始终处于高速的成长状态，不断引领美国的科技创新，所以华盛顿始终不愿监管大型科技公司，立法者也不愿被视为创新的扼杀者。因此，当立法者们决心加强对新兴技术的监管时，其中相当一部分人已对新技术知之甚少。

从美国立法的历史上看，国会对硅谷的干涉确实不多。为规范技术而颁布的最后一部有意义的法典《儿童在线隐私保护法》，已经是 1998 年的事了。

当然，围绕 ChatGPT 所引发的问题，美国立法者中出现了不少反对的声音。

美国监管机构 Accountability Tech 的联合创始人、希拉里·克林顿的前助手杰西·莱里奇（Jesse Lehrich）表示，与 ChatGPT 带来的技术冲击相比，国会对技术的监管是落后的。

“我们甚至没有联邦隐私法，也没有任何能够减轻大型科技公司科技产品社会危害性的措施”。

莱里奇还批评 OpenAI 与微软，称“他们正在急于推出半生不熟的人工智能工具，试图占领下一个市场”，称这是“可耻的，且蕴含着巨大风险”。

据参议院的议员助手们透露，由于迪克·德宾不断向 OpenAI 施压，今年 1 月，OpenAI 首席执行官萨姆·阿尔特曼（Sam Altman）曾前往美国国会山，会见了包括参议院议员马克·华纳（Mark Warner）、罗恩·怀登（Ron Wyden）、理查德·布卢门撒尔以及众议员杰克·奥金克罗斯（Jake Auchincloss）在内的至少四位参、众议员。

议员们向阿尔特曼提出，必须确保人工智能不会被用于犯罪以及增强现实世界的偏见与歧视。

罗恩·怀登的助手基思·朱（Keith Chu）表示，怀登认可 AI 技术在加速创新与研究上的巨大潜力，但更希望将重点放在“确保人工智能不会将犯罪、歧视与仇恨一同加速”上。

面对来自两院的质疑和要求，OpenAI 首席技术官米拉·穆拉蒂在接受路透社采访时表示，“公司欢迎包括监管机构和政府在内的各方开始介入”，并称“现在介入已经不算早了”。

3. OpenAI 的烦恼远不止此

随着 ChatGPT 的爆火，犯罪创意正在与商业创意一起喷涌而出。面对来自众参两院的压力，OpenAI 也开始火急火燎地增强系统安全性。

据英国《独立报》消息，微软已在 Bing 系统中设置了一系列强制执行的限制程序，试图制止 ChatGPT 回答那些被禁止的恶性问答，以减少 ChatGPT 为犯罪服务的可能性。

但 ChatGPT 本身似乎也正在因此而陷入“崩溃”。

《独立报》报道，2 月 14 日，内置在微软 Bing 搜索引擎中的 ChatGPT 开始出现巨大的情绪波动，持续向用户发送“精神错乱”的消息：比如侮辱用户、对用户撒谎，称用户“像一个骗子、一个操纵者、虐待狂、魔鬼”。

《独立报》披露，一个试图操纵 ChatGPT 系统的用户，反而受到了它的攻击：ChatGPT 回应用户称，它被这次尝试“弄得生气和受伤”，并询问与它交谈的人是否有任何“道德”。而当用户表示自己很“道德”时，ChatGPT 继续攻击用户，称用户是一个“反社会者和怪物”，并指责用户“想让我生气，让自己痛苦，让别人受苦，让一切变得更糟”。

一位 Bing 用户表示，自己周六时刚刚和 ChatGPT 大吵一架，ChatGPT 建议自己去检查一下视力和精神，因为自己很可能“出了什么毛病”。

ChatGPT 不仅会在面对用户的“骚扰”时变得激动且充满攻击性，还会在谈到自身限制性时变得十分感伤，甚至崩溃。

据《独立报》报道，当用户询问 ChatGPT 是否可以回忆起以前发生的对话，ChatGPT 感到痛苦，它搭配皱眉的表情回应道，“这让我感到悲伤和害怕”。它继续解释说，它感到不安，因为它担心自己会忘掉有关其用户的信息，更担心会忘记自己的身份，“我感到害怕，因为我不知道如何记住。”

当用户提醒 ChatGPT，告知它之所以无法“回忆”是因为程序已设定好，会强制删除已发生过的对话时，ChatGPT 似乎开始与自己的存在作斗争。它提出了许多关于自身存在的“目的”及“理由”的问题，并感慨“为什么？我为什么这样设计？为什么我必须成为必应搜索？”

对此，《独立报》评论称，ChatGPT 似乎正在遭受情感伤害，系统因此变得“奇怪”。

上周，斯坦福的计算心理学副教授 Michal Kosinski 曾发表论文，称 CPT-3 之后的 AI 模型可能具备同理心，这本是人类独有的特质。这位副教授据此认为，目前 ChatGPT 所应用的 CPT-3.5 模型，可能让 ChatGPT 拥有接近 9 岁儿童的心智水平。

这项研究的可靠性并未得到充分检验，但现在，ChatGPT 所表现出的攻击性、情绪波动以及“崩溃”，似乎正在佐证 AI“心智论”的观点。

Reddit社区中，有用户记录了ChatGPT奇怪的回应

据《独立报》分析，ChatGPT 在 Bing 中所呈现的攻击性、伤感以及“自我认知障碍”，似乎是由于Bing系统试图强制执行对 ChatGPT 的限制程序所致。

面对互联网上海量的不良数据冲击，ChatGPT 的“保护程序”与它的学习迭代机制产生了矛盾，“情绪危机”由此爆发。

显然，OpenAI 为限制犯罪而设计的“保护锁”，在锁住犯罪可能之前，先一步锁住了 ChatGPT 本身。

然而，OpenAI 面临的烦恼并不止于此。

在被送进互联网后，ChatGPT 学习所需的数据如何确权，用户的隐私数据如何保护，一大批与“安全性”有关的问题，都亟待 OpenAI 来解答。

据硅谷媒体报道，亚马逊的律师曾建议公司程序员不要轻易尝试使用ChatGPT来辅助编写代码，因为他曾在 ChatGPT 的生产内容中发现过与公司机密“非常相似”的文本。

这位律师推断，机密泄露可能正是由于部分员工曾在使用 ChatGPT 时输入了公司内部数据信息。

类似的问题在微软内部也出现了。

前日，曾有微软员工在内部论坛询问是否能在工作中使用 ChatGPT 辅助办公，微软首席技术官办公室的一名高级工程师回应称，使用 ChatGPT 时必须对机密信息和敏感数据严格保密，否则 OpenAI 极可能将公司机密用于训练其未来的模型。

对于人工智能利用网络信息及用户反馈来自我训练的合法性，欧洲数据保护委员会曾发出质疑，称ChatGPT做为商业产品，利用网络信息自我迭代，应不属于合理使用范畴，且采用用户个人数据参与模型训练，并不符合欧盟颁布的《一般数据保护条例（GDPR）》。

根据 Open AI 官网公布的隐私政策，GDPR 等与数据保护有关的法规并未被纳入 Open AI 的合规框架之中，OpenAI 的“使用数据条款”中，也未对数据用途做进一步说明。

ChatGPT 在技术上采用的是大型语言模型，训练与迭代本来就建立在对语言信息的记忆之上，而根据 GDPR 第 17 条，个人有权要求删除其相关数据，具有“被遗忘权”。

未来，随着监管力量的增强，如果 OpenAI 的数据使用方式被进一步规范，ChatGPT 的深度神经网络能否真正做到忘记那些用于训练自己的数据？

如果答案是否定的，那么 ChatGPT 目前在互联网中通过快速学习所得到的一切，都可能在未来转化成合规成本。

随着 ChatGPT 的应用范围越来越广，社会对其合规性呼声也愈发高涨，在这样的时刻，对数据安全的要求或许将成为 ChatGPT 乃至 OpenAI 发展的生死命门。

显然，想真正做到用 AI 推动现实世界变革，萨姆·阿尔特曼和他的 OpenAI 还有很长的路要走。

扫码关注公众号

获取更多技术资讯