1 OpenAI爬虫频繁爬取导致人体3D模型网站瘫痪

Triplegangers是一家拥有大量人体模型扫描3D图像数据库的乌克兰公司，主要面向3D艺术家、视频游戏制作者以及任何需要以数字方式重现真实人类特征的群体出售3D文件。

近日，该公司遭遇了一场突如其来的网站瘫痪，背后凶手竟是全球知名的OpenAI公司，OpenAI的爬虫机器人GPTBot正在无情地爬取他们整个网站的内容。

该公司注意到，OpenAI发送了数万个服务器请求，试图下载网站的所有内容，包括数十万张照片及其详细说明。

Triplegangers的CEO表示，OpenAI使用了600个IP来抓取数据，他们分析此前的后台日志后发现，可能OpenAI实际上使用更多的IP地址来爬取网站内容。OpenAI的爬虫正在破坏我们的网站，更像是一次DDoS攻击（分布式拒绝服务攻击）了。

OpenAI爬虫的行为不仅导致Triplegangers的网站无法正常运营，还可能给该公司带来巨额的云计算服务账单。

在本次网站瘫痪前，Triplegangers并没有网站缺乏有效的防护措施，仅在网站的服务条款页面载明“禁止爬虫机器人在未经许可的情况下爬取其数据。

从网站瘫痪的结果来看，很明显仅仅在服务条款中声明禁止是没用的。那么，网站应该如何禁止OpenAI的爬虫机器人？

3 OpenAI的爬虫机器人是否会爬取你的数据来训练AI？

根据OpenAI平台的爬虫概述，OpenAI展示了OAI-SearchBot、ChatGPT-User和GPTBot三类爬虫机器人。

可以看出，在以上三种爬虫中，OAI-SearchBot和ChatGPT-User仅用于向用户展示检索结果和问答来源展示等，不会将爬取内容用于OpenAI的模型训练。GPTBot则主要用于爬取数据来训OpenAI的模型。如果网站配置禁止GPTBot爬取，理论上GPTBot应停止访问该网站。

robots协议作为互联网行业惯例，能够指导网络爬虫如何爬取和索引网站内容。如果网站不想GPTBot访问网站的全部内容，可以将以下代码添加到robots协议中：

User-agent:GPTBot

Disallow:/

如果仅是通在网站的服务条款中禁止GPTBot爬虫，像Triplegangers公司一样，GPTBot可能无法识别。

但需要注意的是，即便网站更新了robots协议来禁止OpenAI的爬虫，OpenAI的系统可能需要24小时才能才能进行更新调整，识别到网站的禁止行为，不再爬取网站内容。

Triplegangers公司的CEO认为，这些AI公司似乎在钻漏洞，声称网站可以通过robots协议来选择退出被爬取，但实际上AI公司把责任转移到网站身上，网站运营者必须了解如何屏蔽不同的爬虫机器人。

3 警惕爬取大模型训练数据的法律风险

根据我国的法律规定和司法实践，未经许可爬取大模型训练数据，如爬取数据涉及受版权保护的内容、个人信息等，则可能侵犯他人的著作权和个人信息安全。此外，与一般的企业间网络爬虫行为不同，爬取数据用于AI训练是否构成不正当竞争也有待在理论和实践中进一步探讨。

本次OpenAI爬虫攻击事件给AI模型公司敲响了警钟，在关于爬取AI训练数据的监管尚未明朗的当下，企业仍应当遵循行业惯例和商业规则，尊重和保护他人的合法权益，避免侵犯知识产权、个人信息安全、商业秘密等，关注训练数据来源的合法合规。

首发：微信公众号“AI合规圈”