01 AI用得好，大牢蹲得早

10月25日，日本东京地方法院对一名利用AI生成诈骗病毒程序的25岁男子进行宣判，判处该男子3年监禁和4年缓刑。根据报道，该案是日本首例利用AI制作病毒进行欺诈被判刑的案件。

该男子通过与生成式人工智能进行交互，在AI提供的含有恶意程序的源代码基础上，进一步制造出用于敲诈勒索的计算机病毒。

通过“非官方版的ChatGPT”，该男子创建一个程序源代码，该代码可以对特定文件进行加密并导致文件无法正常使用，同时该代码还会创建“要求受骗者支付比特币作为赎金来删除病毒程序”的文本，以此达到通过病毒骗取钱财的目的。

也许你会以为这个犯罪分子是个计算机高手，但实际上他本人对IT知识一窍不通，自称花了一个月左右的时间才完成计算机病毒程序的制作。如果不是生成式人工智能，他认为他可能无法完成这场诈骗。

当他的律师问他这个制作计算机病毒的过程是否容易时，他也坦言并不难。

果然，自然语言才是AI时代的计算机语言......

哪怕是对技术一无所知的犯罪分子，也可以自己捣鼓出一个用于敲诈勒索的计算机病毒程序来......

02 被告的罪名

据报道，本案被告因滥用AI创建欺诈指令的电磁记录被判刑。

那么，“电磁记录”又是什么意思呢？

根据日本刑法，“电磁记录”是指以电子方式、电磁方式以及其他不被人感知的方法制作的供电子计算机处理信息使用的记录。

根据日本刑法的规定，无正当理由，以供他人的电子计算机运行之用为目的，制作或者提供法条所列的电磁记录或者其他记录的，构成制作非法指令电磁记录罪，处三年以下惩役或者五十万日元以下罚金。

日本刑法第一百六十八条之二规定：

①无正当理由，以供他人的电子计算机运行之用为目的，制作或者提供下列电磁记录或者其他记录的，处三年以下惩役或者五十万日元以下罚金。

一、在他人使用电子计算机之际，不让电子计算机按照其意图运转，或者发出与其意图相反的不正当指令的电磁记录；

二、除前项规定以外，记述该项不正当指令的电磁记录以及其他记录。

②无正当理由，将前款第一项规定的电磁记录供他人的电子计算机使用的，按前款规定处罚。

③前款犯罪的未遂，予以处罚。

（取得不正当指令的电磁记录等）

假设类似的事件发生在我国，根据我国的刑法规定，如犯罪嫌疑人滥用人工智能技术，生成病毒程序实施诈骗等行为，视情况可能构成诈骗罪、破坏计算机信息系统罪、非法侵入计算机信息系统罪等犯罪。

03“诱骗”AI生成诈骗代码，如何应对？

模型开发者一般会采取保护措施来防止用户滥用AI，如要求AI生成违法有害的内容，但规避模型安全限制的教程依旧充斥在互联网。本案被告也承认使用了一些解除大模型生成限制的方法，来“诱骗”AI生成诈骗代码。

在去年ChatGPT上线不到几个月，就已有成上万条关于“如何利用ChatGPT创建代码开发恶意软件”的信息在美国暗网上出售。对于AI厂商而言，如何有效防范化解人工智能安全风险，一直是个难题。

上个月，我国网安标委发布《人工智能安全治理框架》1.0版，针对人工智能的内生安全风险和应用安全风险分别提出了技术应对措施和综合治理措施，同时对人工智能安全开发应用提出指引。

治理框架提到，人工智能可被用于实施自动化网络攻击或提高攻击效率，包括挖掘利用漏洞、破解密码、生成恶意代码、发送钓鱼邮件、网络扫描、社会工程学攻击等，降低网络攻击门槛，增大安全防护难度。

对此，人工智能开发者应提升对网络域、现实域、认识域、伦理域的风险应对能力，例如根据用户实际应用场景设置服务提供边界，提高人工智能系统最终用途追溯能力，通过技术手段判别不符合预期、不真实、不准确的输出结果等。

（我们把深邃的目光，默默地看向了国内的AI圈）