Google、Anthropic等公司宣布支持新的AI爬取退出标准

📋总体概括

Google、Microsoft、Anthropic与OpenAI宣布将支持一项新的网站爬取退出标准，允许网站运营者通过类似robots.txt的技术声明，阻止AI开发者抓取其内容用于模型训练。该标准将robots.txt的经典机制扩展到AI训练场景，成为内容方与AI公司之间的重要协议基础，标志着头部AI厂商开始正视版权与内容授权争议，为训练数据获取方式建立行业规范。