Data for AI：从数据争夺到数据产品化

执行摘要：Data for AI领域正经历双重演进：一方面，网站对AI爬虫的封锁呈现明显分化，训练类爬虫遭遇普遍抵制而搜索类爬虫被广泛接纳，公开数据获取进入博弈期；另一方面，企业侧数据工程加速，FactSet等机构通过一体化平台将模型迭代周期从数天压缩至数小时，CopilotKit等厂商则将Agent轨迹转化为可复用的微调与评估资产。数据正在从原始资源转变为可运营的产业产品，上游供给、中游加工与下游应用格局加速重构。

产业现状与格局

第1章 产业现状与格局

AI 竞争的重心正在从模型架构转向数据供给。过去一年，围绕“谁来为 AI 提供数据、如何提供、以什么形式提供”，产业形成了三条清晰的力量主线：公开数据获取摩擦加剧、企业数据平台竞争升温、数据产品化工具开始涌现。三者分别对应数据的源头之争、管道之争与形态之争，共同重塑 Data for AI 的整体格局。

力量一：公开数据的“围墙”正在升高

公开网页曾是 AI 训练数据的天然矿场，但矿场的门正在关小。一项针对 261 家高流量网站 robots.txt 文件的调查显示，网站对 AI 爬虫的封锁呈现明显分化：22.6% 的网站封禁了 OpenAI 的训练爬虫 GPTBot，35% 的网站封禁了至少一款训练类爬虫。其中，Common Crawl 的 CCBot 与字节跳动的 Bytespider 各被 28.7% 的网站封禁，成为最受抵制的两款爬虫。

但同一份调查也揭示了另一种产业逻辑：服务于 ChatGPT 搜索的 OAI-SearchBot 被封率仅为 11.5%，远低于训练类爬虫。这一差距说明，网站并非一刀切地拒绝 AI，而是在区分爬虫的价值流向——能将流量导回网站的搜索类爬虫受到欢迎，而“取走数据、不留回报”的训练类爬虫则遭遇系统性抵制。

这背后是一种正在成型的“访问换价值”博弈：内容方期望从 AI 价值链中获得分成或流量回报，模型方则面临合规获取训练语料的成本上升。公开数据从“免费、无摩擦”转向“谈判、有门槛”，将是未来数年的结构性趋势。

力量二：企业数据平台成为 AI 落地主战场

如果说公开数据之争在源头，那么企业数据之争就在管道。AI 对数据供给提出了与 BI 时代截然不同的要求：低延迟、高质量语义、训练与推理一体化。这使统一数据与 AI 平台成为竞争焦点，Databricks 等厂商正在把“数据平台”升级为“数据+AI 一体化底座”。

典型案例是金融数据服务商 FactSet：其 Text-to-Formula 系统需要把自然语言查询翻译成专有的 Financial Expression Language，对准确性和金融领域语义要求极高。借助 Databricks AI Runtime，FactSet 将该系统的模型训练与部署周期从数天压缩到数小时。这一数字背后是三层能力的叠加——统一的数据与 AI 平台、简化的 MLOps 流程、运行时级优化。

对产业格局而言，这类案例的意义在于：企业专有数据正在成为差异化模型能力的来源，而谁掌握了企业数据的处理管道，谁就在 Data for AI 的价值链中占据枢纽位置。

力量三：数据产品化工具开始涌现

前两股力量分别解决“数据从哪来”与“数据怎么管”，第三股力量则回答一个更深层的问题：数据如何以可持续的形态被 AI 持续消费。这一方向上，代表性事件是 CopilotKit 发布的持续学习平台 CLiF。CLiF 将 Agent 运行轨迹与用户真实操作转化为技能、评估用例和微调数据，替代团队手工编写成百上千条 eval 的低效模式，让 Agent 在使用中持续进化。

这是“数据产品化”的一次标志性尝试：数据不再是静态的一次性语料，而是从产品使用中自动生成、自动回流、持续复用的资产。其产品化路径可以概括为一个闭环：

格局定位：三条赛道的价值坐标

将三方力量放入“技术门槛—商业价值”坐标系，可以看到它们当前的位置与分化方向：

企业数据平台门槛高、价值大，已进入领跑者象限；数据产品化工具门槛与价值都在快速爬升，是最值得关注的潜力方向；而公开数据获取的商业模式仍在博弈中重构，短期价值承压，但作为稀缺语料源，长期议价能力取决于授权机制是否成型。

小结

三股力量并非彼此独立，而是层层递进：公开数据的摩擦加剧迫使模型方转向企业数据与自产数据，企业平台竞争为数据管道铺设了基础设施，而数据产品化工具则决定了数据资产能否形成复利。从“争夺存量数据”到“生产增量数据”，正是本章标题所指的产业范式迁移——后续章节将逐一展开这三条主线的竞争细节与演进路径。

上游：数据供给与博弈

大模型的能力边界，正越来越取决于上游数据的供给结构。过去两年，围绕“能不能爬、爬了怎么用”的博弈，已经从零散的版权纠纷演变为一场系统性的供给谈判：内容方握有数据主权，AI 厂商握有算力与分发渠道，双方在 robots.txt 这一行文本上完成了第一轮交锋。

一份 261 家网站的封禁地图

一项针对 261 家高流量网站 robots.txt 文件的调研，为这场博弈提供了罕见的量化快照。核心发现有三：

其一，封锁已成普遍姿态。35% 的网站至少封禁了一款训练类 AI 爬虫，意味着每三家头部网站中就有一家明确拒绝为模型训练供数。

其二，抵制对象高度集中。OpenAI 的训练爬虫 GPTBot 被封禁率为 22.6%，而 Common Crawl 的 CCBot 与字节跳动的 Bytespider 各被 28.7% 的网站封禁，并列成为最受抵制的爬虫。CCBot 作为公共语料集的底层采集者，其数据流向不可控、下游用途不可追溯，是网站方抵制的核心原因。

其三，也是最具结构意义的发现：服务于 ChatGPT 搜索的 OAI-SearchBot 封禁率仅 11.5%，远低于训练类爬虫。同样是 OpenAI 的爬虫，仅因用途从“训练”切换为“搜索”，封锁率下降了约一半。

流量回报决定供给意愿

这三组数字指向同一个产业逻辑：数据供给意愿与流量回报挂钩。

搜索类爬虫遵循的是传统互联网的“内容换流量”契约——网站交出内容，换取搜索结果页的导流，这是二十年来被验证过的正和博弈。而训练类爬虫打破了这个契约：网站的内容被吸收进模型后，用户的问题可能由模型直接作答，网站不仅拿不到回流流量，反而面临被替代的风险。一次抓取、永久使用、无持续回报——在这种交换结构下，封禁是内容方的理性选择。

换言之，robots.txt 的封禁率差异，本质上是一张“回报感知”的投票表：网站并不天然反对 AI，它们反对的是无回报的单向抽取。这解释了为什么 GPTBot 与 OAI-SearchBot 同出一门却待遇迥异。

博弈的下一步：从封锁到定价

封禁只是谈判的开场。当 35% 的网站选择关门，AI 厂商面临三个出口：转向授权合作（如新闻机构与模型厂商的内容授权协议）、依赖公开语料与合成数据、或自建垂直数据管道。而内容方也在探索从“防御”转向“定价”——数据授权、按调用量分成、专属内容协议等模式正在被测试。

产业正在从“数据争夺”走向“数据产品化”：数据不再是被默认抓取的公共品，而是需要明确定价、明确用途边界、可审计的交易标的。

结语

上游数据供给的博弈，短期看是爬虫与 robots.txt 的攻防，中期看是授权与分成机制的确立，长期看则是“数据作为可交易资产”这一前提能否成立。供给意愿由回报结构决定——这条规律已经在 261 家网站的封禁数据中得到验证。对于下游的数据产品化尝试（如将 Agent 运行轨迹转化为微调数据的持续学习平台），这条规律同样适用：只有当数据的产生者、加工者、使用者形成清晰的利益闭环，Data for AI 的供给链才能真正跑通。

中游：数据加工与平台

从“拿数据”到“炼数据”

上游的爬取与授权之争，决定了数据“有没有”；而中游的加工与平台能力，决定数据“能不能用、用得快不快”。随着各家企业获取数据的渠道趋于同质化，中游正成为 Data for AI 产业链中真正的竞争分水岭：谁能在统一基础设施上把原始数据高效转化为训练语料、评估集与可部署模型，谁就掌握产业主动权。

中游的核心命题可以概括为三条主线：统一数据与 AI 平台、简化 MLOps 流程、数据的持续产品化。本章以金融数据服务商 FactSet 的实践为主线案例，并辅以 CopilotKit 的 CLiF 平台，说明这一层正在发生的范式迁移。

案例主线：FactSet 与 Databricks AI Runtime

FactSet 面向全球金融机构提供数据与分析服务，其 Text-to-Formula 系统是一个典型的中游高价值场景：将用户的自然语言查询，翻译为 FactSet 专有的 Financial Expression Language（金融表达式语言）。这类任务对准确性与金融领域语义理解的要求极高——一个公式的语义偏差，可能直接导致客户投研结论失真。

在传统架构下，FactSet 的模型训练与部署周期以“天”计：数据准备、特征工程、模型训练、评估、上线部署分散在不同工具链中，MLOps 流程繁复。引入 Databricks AI Runtime 后，FactSet 实现了三项关键改进：

1. 统一数据与 AI 平台：数据湖、特征管理、模型训练与推理部署收敛到同一平台，消除了数据在多套系统间的搬运与格式转换成本；

2. 简化 MLOps：实验跟踪、版本管理、上线流程标准化，团队从“运维流水线”回归“迭代模型”；

3. 运行时优化：借助 Databricks 对 AI 工作负载的底层加速，训练与推理效率显著提升。

综合效果是：Text-to-Formula 系统的模型训练与部署周期从数天压缩至数小时。这一数量级的提升，意味着模型迭代可以随市场、数据与用户反馈高频进行，中游基础设施从“成本中心”转变为“响应速度的竞争武器”。

这一循环结构的本质是：平台化之后，数据不再线性流动，而是形成闭环。反馈数据回流至统一平台，成为下一轮迭代的养料——这正是“数天到数小时”得以成立的组织与技术前提。

中游竞争的核心：数据基础设施

FactSet 的案例揭示了一个正在形成的行业共识：数据基础设施本身，已经成为 Data for AI 中游的竞争核心。可以从三个维度理解：

• 纵向整合维度：拥有专有数据的企业（如金融、法律、医疗领域的服务商），正在通过自建或引入统一 AI 平台，把数据优势直接转化为模型与产品优势，而非将数据低价值地授权给第三方；
• 平台维度：Databricks、云厂商等基础设施供应商，通过运行时优化与一体化工作流，把分散的 MLOps 工具市场整合为平台级供给；
• 效率维度：当模型架构趋于收敛，迭代速度（训练-部署周期）成为差异化变量，基础设施的优劣直接映射为产品更新频率。

若将中游主要玩家的能力进行定位，可以观察到明显的梯队分化：

领跑者象限中的一体化平台，以统一架构承接从数据到模型的全链路；行业数据服务商则凭借领域专有数据与高价值场景紧随其后；传统数仓厂商若不能完成向 AI 负载的能力升级，将面临向存量玩家象限滑落的风险。

新趋势：数据产品化的闭环——CLiF 的启示

如果说 FactSet 代表的是“用平台加速模型迭代”，CopilotKit 发布的持续学习平台 CLiF 则代表了中游更前沿的方向：将使用过程本身转化为数据资产。

CLiF 解决的是 AI Agent 落地的普遍痛点——Agent 难以在具体产品中稳定完成复杂端到端任务，而传统做法依赖团队手工编写成百上千条评估用例（eval），效率低下。CLiF 的产品化思路是：将 Agent 运行轨迹与用户真实操作，自动转化为三类可复用资产——技能（Skills）、评估用例（Evals）与微调数据（Fine-tuning Data），让 Agent 在实际使用中持续进化。

这标志着中游竞争的进一步深化：数据加工不再是“一次性预处理”，而是嵌入产品运行时的持续学习流水线。用户每一次交互，都在为中游沉淀新的训练与评估数据——数据资产随使用而增值，而非折旧。

小结

中游正在从分散的“数据加工工具市场”，演变为以统一数据与 AI 平台为载体的基础设施竞争。FactSet 将模型迭代周期从数天压缩到数小时，证明了平台化带来的效率跃迁；CLiF 则预示着数据产品化的下一站——运行时持续学习。对于产业链各方而言，中游不再是可外包的辅助环节，而是决定 Data for AI 最终竞争力的主战场。下一章将转向下游：数据如何最终转化为模型能力与商业价值。

下游：数据价值转化

前几章我们梳理了数据的获取之争与供给侧的产品化进程。本章视角下移，聚焦产业下游——数据在应用侧如何完成价值兑现。核心判断是：数据价值正在从“喂给模型”单向流动，转向“应用产生数据、数据反哺应用”的闭环回流。

4.1 下游闭环的关键节点：CLiF

2025年，CopilotKit 发布持续学习平台 CLiF（Continual Learning Framework），成为 Data for AI 方向在应用侧一次有代表性的产品化尝试。其解决的痛点十分具体：AI Agent 在真实产品中难以稳定完成复杂端到端任务，而传统改进方式依赖工程团队手工编写成百上千条评估用例（eval），成本高、覆盖窄、更新慢。

CLiF 的做法是将两类原本被丢弃的数据资产化：

• Agent 运行轨迹：Agent 在执行任务过程中产生的完整行为序列；
• 用户真实操作：人类在使用过程中对 Agent 的纠正、确认与接管行为。

这些数据被自动转化为三类下游资产：技能（可复用的任务能力）、评估用例（替代手工 eval）、微调数据（用于模型持续优化）。由此，Agent 在使用中持续进化，数据不需要离开应用场景就能完成价值闭环。

这一流程图揭示的正是“飞轮”结构：应用使用产生轨迹数据，数据转化提升 Agent 能力，能力提升带来更多使用。数据价值回流到应用侧，而非单向流向基础模型厂商。

4.2 数据形态演进：从对抗到协同

理解 CLiF 的意义，需要将其放入更大的数据博弈背景。上游的数据获取目前仍以对抗为主。一项针对 261 家高流量网站 robots.txt 的调查显示：22.6% 的网站封禁了 OpenAI 训练爬虫 GPTBot，35% 封禁了至少一款训练类爬虫；Common Crawl 的 CCBot 与字节跳动的 Bytespider 各被 28.7% 的网站封禁，是受抵制最多的两款爬虫。

但同一组数据中存在一个关键反差：服务于 ChatGPT 搜索的 OAI-SearchBot 被封率仅为 11.5%，远低于训练类爬虫。这说明网站并非一概拒绝 AI，而是拒绝“只取不予”的采集——能够带来流量回报的抓取普遍受到欢迎。

四象限显示，CLiF 代表的应用侧数据回流位于右上角：它天然具有互惠性——数据来自用户的真实使用，转化结果直接改进用户所用的产品，无需与数据持有者对抗。这可能是比爬虫授权谈判更可持续的数据获取路径。

4.3 竞争格局：数据转化的四种路径

CLiF 并非孤例，下游数据价值转化正在形成多条路径。企业级实践中，金融数据服务商 FactSet 借助 Databricks AI Runtime，将其 Text-to-Formula（自然语言转财务公式）系统的训练与部署周期从数天压缩至数小时——该系统将自然语言翻译为 FactSet 专有的 Financial Expression Language，对准确性与金融语义要求极高。其路径是通过统一数据与 AI 平台、简化 MLOps 流程实现高价值专有数据的高频迭代。

将各路径归纳如下：

四条路径的差异本质在于数据所有者与价值受益者是否一致。CLiF 路径中二者完全重合，因此摩擦最小；授权交易路径中二者分离，需要商业与法律机制衔接。

4.4 产业影响与展望

CLiF 的产品化信号有三点值得产业界关注：

第一，eval 从成本项变为数据资产。 手工编写评估用例是当前 Agent 落地最被诟病的隐性成本之一，CLiF 用自动转化替代手工编写，直接把“质量保障”重构为“数据生产”。

第二，数据闭环的主战场向应用侧转移。 当上游爬取面临 22.6%—35% 的封禁率、授权谈判成本高企时，应用内自然产生的轨迹数据成为合规性最好、信噪比最高的数据源。拥有真实用户使用的应用，将成为下一轮数据竞争中的资源方。

第三，“使用即训练”成为 Agent 产品的默认架构预期。 类似 FactSet 在专有领域做的事——高频数据迭代驱动模型进化——正在通过 CLiF 这类平台被标准化、工具化，中小团队也能构建自己的数据飞轮。

综合来看，Data for AI 的叙事正从“争夺存量数据”走向“生产增量数据”。下游不再是数据链条的终点，而是新一代数据资产的起点。能否在应用运行中持续捕获、转化并回流数据，正在成为衡量 AI 产品长期竞争力的关键指标。

数据壁垒与竞争格局

从“算力竞赛”到“数据竞赛”的焦点转移

过去三年，AI产业的竞争叙事以算力为核心：芯片采购规模、集群建设速度、训练算力预算，构成了衡量厂商实力的主要标尺。但随着基础模型能力趋于收敛、头部算力供给逐步可获取，竞争重心正在发生结构性迁移——从“谁的算力更多”转向“谁的数据更独特、谁能更高效地运营数据资产”。

这一转移的逻辑并不复杂：当模型架构与训练方法高度透明、算力可以通过市场购买时，真正难以复制的只剩数据本身。数据壁垒有两层含义：一是数据获取权，即能否合法、持续地获得高质量专有数据；二是数据资产运营能力，即能否将原始数据持续转化为训练、评估与产品改进的闭环。

数据获取权：爬虫封锁背后的博弈

数据获取端的第一道分水岭已经出现。一项针对261家高流量网站robots.txt文件的调查显示，网站对AI爬虫的态度呈现明显分化：22.6%的网站封禁OpenAI训练爬虫GPTBot，35%封禁至少一款训练类爬虫；Common Crawl的CCBot与字节跳动的Bytespider各被28.7%的网站封禁，成为最受抵制的爬虫。与之形成鲜明对比的是，服务于ChatGPT搜索的OAI-SearchBot被封率仅11.5%。

这组数据揭示了公共网络数据作为训练资源的“公地”属性正在消退：网站欢迎能带来流量回流的应用型爬虫，但抵制纯粹抽取内容用于训练的爬虫。对模型厂商而言，这意味着公共数据的边际获取成本将持续上升，竞争压力向两个方向传导——其一，与内容方达成授权合作的商务能力；其二，转向自有产品与专有渠道沉淀数据。

两类差异化壁垒：专有领域数据与反馈数据

在公共数据收紧的背景下，两类数据资产的价值凸显。

第一类是专有领域数据，尤其是蕴含深度行业语义的数据。金融数据服务商FactSet的实践具有代表性：其Text-to-Formula系统需要将自然语言查询翻译为专有的Financial Expression Language，对准确性与金融领域语义要求极高。借助统一的数据与AI平台，FactSet将模型训练与部署周期从数天压缩到数小时。这类壁垒的本质是“领域知识×数据积累”的复合优势——通用大模型难以凭公共语料习得专有表达语言的语义，而垂直厂商既有数据、又有真实使用场景来验证与迭代。

第二类是用户反馈数据，即产品使用中产生的运行轨迹与行为信号。CopilotKit发布的持续学习平台CLiF是这一方向的产品化标志：它将Agent运行轨迹与用户真实操作转化为技能、评估用例和微调数据，替代团队手工编写成百上千条eval的低效模式。反馈数据的价值在于其持续性与排他性——只有产品持有者能获得，且随使用不断增长，形成“使用→数据→改进→更多使用”的飞轮。

竞争格局的分化

综合“技术门槛”与“数据资产禀赋”两个维度，当前参与者可分为四类：

• 垂直数据服务商（如金融、医疗、法律领域的存量数据持有者）凭借高价值的专有数据，正从“数据供应商”升级为“AI产品运营商”，是本轮迁移中最被看好的群体；
• 头部模型厂商技术领先，但在公共数据收紧后需要通过授权谈判与产品闭环补齐数据禀赋；
• 数据基础设施商（如Databricks、CLiF这类平台）自身不持有数据，但掌握“数据→AI能力”的转化管道，卡位产业链的关键节点；
• 缺乏数据积累的通用应用开发者面临挤压，需要尽快建立自己的反馈数据闭环。

小结

数据壁垒的竞争，表面上是获取权的博弈，实质是数据资产运营能力的较量。公共数据封锁率上升意味着“免费午餐”时代接近尾声；而FactSet与CLiF的案例表明，胜负手在于能否把专有数据与用户反馈持续转化为模型能力——未来数年，最稀缺的不是算力，而是能形成飞轮的数据资产及其运营体系。

趋势判断

站在2025年中的时点回望，Data for AI 的产业逻辑正在发生一次静默但深刻的转向：从“抢数据、建管线”的一次性工程，走向以授权、补偿、持续学习为核心的长期运营。本章从三个趋势出发，给出前瞻判断。

趋势一：数据授权与补偿机制将逐步成型

数据供需双方的关系正在从对抗走向博弈后的规则重建。参考1对261家高流量网站robots.txt的调查提供了清晰的行为信号：22.6%的网站封禁了OpenAI的训练爬虫GPTBot，35%封禁至少一款训练类爬虫；Common Crawl的CCBot与字节跳动的Bytespider各被28.7%的网站封禁，成为最受抵制的爬虫。但与之形成鲜明对比的是，服务于ChatGPT搜索的OAI-SearchBot被封率仅11.5%——说明网站并非一刀切拒绝AI，而是有条件地欢迎能带来回流流量的用途。

这一分化揭示了补偿机制的设计逻辑：数据持有方要求的是“价值互换”而非“无偿供给”。预计未来2-3年，内容授权协议（如媒体与模型厂商之间的数据许可）、流量回流分成、以及基于爬虫用途分级的技术标准将逐步落地，形成介于“全封闭”与“全开放”之间的授权市场。数据本身，将首次成为可明码标价、可批量交易的产品。

趋势二：持续学习平台将成为AI产品的标配

模型能力的竞争正在从“预训练规模”转向“后训练迭代速度”。参考3中CopilotKit发布的持续学习平台CLiF，是一个标志性信号：它将Agent运行轨迹与用户真实操作自动转化为技能、评估用例和微调数据，替代团队手工编写成百上千条eval的低效模式，让Agent在使用中持续进化。

参考2中金融数据服务商FactSet的实践同样印证了这一点：其Text-to-SQL类系统（自然语言转专有财务公式语言）通过统一数据与AI平台、优化MLOps流程，将模型训练与部署周期从数天压缩到数小时。当迭代周期从“天”级进入“小时”级，数据闭环的飞轮才真正转得起来。

可以判断，未来持续学习平台将像今天的CI/CD一样，成为AI产品团队的标配基础设施——真实用户行为数据不再是沉淀在日志里的成本，而是自动回流、驱动模型迭代的资产。

趋势三：从一次性建设转向数据飞轮运营

上述两个趋势合流，指向同一结论：Data for AI 的交付形态正在改变。过去企业做的是“一次性数据工程”——清洗、标注、训练，项目结束即交付完毕；未来的竞争力在于“运营数据飞轮”——产品使用产生数据，数据反哺模型，模型提升产品体验，体验带来更多使用。

从四象限的定位看，“飞轮驱动程度”将成为区分新旧玩家的分水岭：左上象限的传统数据服务（标注、授权）仍有商业价值，但护城河会随时间被右上方具备闭环能力的玩家侵蚀。

小结

将三个趋势叠加，Data for AI 的成熟路径可以概括为一个由外而内、由交易到运营的漏斗演进：

当前处于漏斗上层的早期阶段：授权与补偿机制的规则还在博弈中成型（参考1的封禁分化正是博弈的中间态）；持续学习平台已有代表性产品落地但渗透率有限（CLiF、Databricks等）；真正的数据飞轮运营模式目前只有少数具备平台能力的头部玩家实现。

对产业参与者的启示是明确的：数据持有方应尽早明确自己数据资产的授权策略与定价逻辑，避免在规则真空期被动流失价值；模型与应用厂商则应将“用户数据回流能力”视为与模型能力同等重要的核心竞争力——未来AI产品的差距，与其说在模型，不如说在飞轮转速。