博主晒网站后台：机器人爬虫访问量已远超真人用户

📋总体概括

博主「我在林间听风」晒出某流量稍大的网站后台数据：5万前后PV中流量达几百M，明显由爬虫和各搜索引擎机器人贡献，机器人访问量已远超真人浏览。博主认为AI训练基础数据中有相当部分正来自成千上万小网站的免费供给，网站限制爬虫已是绕不开的问题。该讨论折射出AI时代网站方与AI厂商之间在数据抓取上的矛盾，以及 Robots 协议约束力不足的现实困境。