流量前1000的网站都封禁了哪些AI爬虫？（2026年10月robots.txt研究）

📋总体概括

一项2026年10月的研究抓取了全球流量前1000网站的robots.txt文件，逐一核对16款AI爬虫的封禁情况。结果显示20.9%的网站至少封禁一款AI爬虫，78.9%完全放行。训练类爬虫被封最多：CCBot占15.5%，GPTBot占13.8%；面向AI搜索抓取页面的OAI-SearchBot仅7.0%被封。研究还归纳了网站的封禁策略与常见配置错误，并开放了全部逐站数据与方法，供任何人验证。