261家头部网站封禁了哪些AI爬虫？研究数据

📋总体概括

一项针对261家高流量网站robots.txt文件的调查显示，网站对AI爬虫的封锁呈现明显分化：22.6%封禁OpenAI训练爬虫GPTBot，35%封禁至少一款训练类爬虫，而Common Crawl的CCBot与字节跳动的Bytespider各被28.7%的网站封禁，成为最受抵制的爬虫；服务于ChatGPT搜索的OAI-SearchBot被封率仅11.5%，远低于训练爬虫，说明网站普遍欢迎能带来流量的搜索引用，却警惕内容被用于模型训练。新闻站点是封锁主力，Reddit则是唯一封禁Googlebot的网站。