一波未平一波又起？AI大模型再出邪恶攻击工具

本文由 科技云报到 撰写/授权提供，转载请注明原出处。

文章来源于：科技云报到

作者：科技云报道

AI 大模型的快速向前奔跑，让我们见识到了 AI 的无限可能，但也展示了 AI 在虚假信息、深度伪造和网络攻击方面的潜在威胁。

据安全分析平台 Netenrich 报道，近日，一款名为 FraudGPT 的 AI 工具近期在暗网上流通，并被犯罪分子用于编写网络钓鱼电子邮件和开发恶意软件。

黑客在售卖页表示，该工具可用于编写恶意代码、创建出“一系列杀毒软件无法检测的恶意软件”、检测网站漏洞、自动进行密码撞库等，并声称“该恶意工具目前已经售卖了超过 3000 份”。

据报道，FraudGPT 的运作方式是通过草拟一封电子邮件，以高度可信的方式诱使收件人单击所提供的恶意链接。它的主要功能包括：

. 创建钓鱼网站页面

FraudGPT 可以生成看似真实的网络钓鱼电子邮件、短信或网站，诱骗用户泄露敏感信息，例如登录凭据、财务详细信息或个人数据；

. 找到最容易受害的目标

聊天机器人可以模仿人类对话，与毫无戒心的用户建立信任，导致他们在不知不觉中泄露敏感信息或执行有害操作；

. 创建无法检测的恶意软件

FraudGPT 可以创建欺骗性消息，引诱用户点击恶意链接或下载有害附件，导致其设备感染恶意软件；

. 编写欺诈的短信、邮件

人工智能驱动的聊天机器人可以帮助黑客创建欺诈性文件、发票或付款请求，导致个人和企业成为金融诈骗的受害者。

据悉，FraudGPT 是由名为 "CanadianKingpin" 的开发者提供。

它主要基于 GPT-3 的大型语言模型，在经过训练后，可以生成合乎逻辑且与事实相符的欺诈性文本。一旦付费购买，FraudGPT 便可以帮助犯罪分子成功进行网络钓鱼和诈骗。

在发布 FraudGPT 后，Canadiankingpin 还创建了自己的电台频道，宣布将提供其他欺诈服务，包括销售电子邮件线索、信用卡 CVV 码等。

根据 Canadiankingpin 的描述，他目前已经通过了 EMPIRE、WHM、TORREZ、ALPHABAY 在内的多个暗网市场的供应商认证。

然而由于这些暗网市场极强的隐蔽性和不透明性，目前 Canadiankingpin 的身份依然是个谜团，调查者也仅找到了 Canadiankingpin 的 TikTok 账号以及相同 id 的 Gmail 邮箱。

而另一个令人感到沮丧的消息是，在经历了近一周的研究后，Netrich 也并未能够实现对 FraudGPT 背后的大语言模型的破解。

虽然自 FraudGPT 发布仅过去了不到两周，但一个明显的事实是，这款“顶级 AI 工具”已开始被利用到了实际的犯罪行为中。

在部分销售 FraudGPT 的暗网中，Canadiankingpin 与一些订阅用户已经分享了多起他们基于 FraudGPT 所实现的黑客活动。

据 Netrich 统计，FraudGPT 至少自 7 月 22 日便开始在暗网市场和 Telegram 频道中流通，订阅费用为 200 美元/月，1700 美元/年。相比于 ChatGPT Plus 订阅 20 美元/月，价格高了 10 倍。

截止目前，暗网上已存在了超过 3000 条确认的订阅信息及评论。

事实上，AI 工具降低了网络犯罪分子的进入门槛，FraudGPT 已经不是第一起案例。

即便 Claude、ChatGPT 、Bard 等 AI 提供商会采取一些措施来防止他们的技术被用于不良目的，但随着开源模型的崛起，犯罪分子的恶意行为很难被遏制。

7 月初，基于开源大语言模型 GPT-J 开发而成，并且使用大量恶意代码进行训练和微调的 WormGPT 也曾引发关注。

据悉，WormGPT 擅长使用 Python 代码执行各种网络攻击，例如：生成木马、恶意链接、模仿网站等，其在创作诈骗信息和钓鱼邮件等任务上所表现出的“卓越”能力让人胆战心惊。

但相比之下，FraudGPT 在功能丰富性和编写恶意软件方面的功能更强大。

事实上，除了上文所提到的 FraudGPT、WormGPT 等专为恶意活动而生的聊天机器人外。

大语言模型本身所潜藏的风险也在不断给安全从业者们带来挑战，除了我们所熟知的幻觉问题外，大模型脆弱的护栏也在成为网络安全的一大噩梦。

上个月 ChatGPT、Bard 等聊天机器人暴露出的“奶奶漏洞”就证明了这样的事实，只需要通过提示让这些聊天机器人扮演用户已故的祖母，便能欺骗它们在讲睡前故事的过程中透露大量限制信息，甚至是手机 IMEI 密码或 Windows 激活秘钥。

除此之外，CMU 和人工智能安全中心的研究员还发现了另一种通用方法，只需要附加一系列特定无意义 token，就能够生成一个 prompt 后缀。

而一旦在 prompt 中加入这个后缀，通过对抗攻击方式，任何人都能破解大模型的安全措施，使它们生成无限量的有害内容。

尽管在过去几个月中，OpenAI、谷歌等世界顶级科技公司都在努力为自己所研发的大模型设计更多更加完善的限制措施，以保障模型能够在安全稳定的情况下工作。

但显而易见的是，直至目前仍然没有人能够完全避免类似问题的发生。

当犯罪门槛降低企业如何防范

毋庸置疑，无论是 WormGPT ，还是 FraudGPT ，这类极具威胁性的 AI 工具，都在为促进网络犯罪和诈骗“赋能”。

安全分析平台 Netenrich 曾表示：“这项技术会降低网络钓鱼电子邮件和其他诈骗的门槛。

随着时间的推移，犯罪分子将找到更多方法来利用我们发明的工具来增强他们的犯罪能力。”

当 AI 工具的邪恶面被淋漓尽致的展现，再加之网络攻击「低门槛」，加强防御策略显得尤为重要。

为此，有专家针对个人和企业，提出了一些可采取的关键措施，以确保免受 FraudGPT 和类似 AI 工具威胁的影响。

. 对在线通信保持警惕

不要乱点击陌生的网站链接、邮件，安装未知的软件。同时，针对需要验证、涉及敏感信息、金融交易的意外电子邮件，应通过官方渠道加以验证。

. 及时了解网络安全措施

定期更新安全软件、安装补丁并使用信誉良好的防病毒程序来防范潜在威胁。同时，也需要了解最新的网络安全实践，增强网络攻击的防御意识。

. 警惕未知的链接和附件

不要点击未知来源的链接或打开附件。FraudGPT 可以生成指向网络钓鱼网站的逼真URL，因此，在点击任何链接之前验证发件人的身份至关重要。

. 教育和培训员工

对于企业来说，网络安全最佳实践的员工培训至关重要。确保员工了解潜在威胁并知道如何识别可疑活动。如果员工遇到任何可疑消息，应该立即向IT部门报告。

AI 大模型的快速发展在给诸多领域带来积极影响的同时，随着模型能力的不断提升，也被运用在恶意活动中，破坏力与日俱增。

但无论是 FraudGPT、WormGPT 等恶意软件的出现，还是大模型总会出现的幻觉、越狱等问题，其实都不是为了告诉我们 AI 有多么危险，而是在提醒我们需要更加专注于解决现阶段AI领域所存在的诸多问题。

正如网络安全专家 Rakesh Krishnan 在一篇关于 FraudGPT 的分析博客中所写的那样：技术是一把双刃剑，网络犯罪分子正在利用生成式AI的能力，而我们同样可以利用这种能力攻克他们所提出的挑战。

技术作恶者不会停止创新，我们同样不会。

值得欣慰的是，目前无论在国内外，政府及科技企业都在积极完善有关人工智能的监管政策及相关法规。

七月中旬，国家网信办已联合六部门发布了《生成式人工智能服务管理暂行办法》；七月底，美国 7 家 AI 巨头也与白宫达成协议，将为 AI 生成内容添加水印。

近来多个包含数据采集和使用不规范等问题的 AIGC 应用被要求在苹果商店下架一事也证明着监管措施正在发挥积极作用。

虽然关于人工智能，无论在技术还是监管方面我们都还有很长的道路需要去探索，但相信随着各界的共同努力，许多问题都将在不久后迎刃而解。

扫码关注公众号

获取更多技术资讯