数据这门脏活,被一家公司干了二十年
📋 总体概括
AI项目大量失败在数据质量而非模型能力上:脏数据让大模型规模化地产出错误。从Salesforce的脏数据困境、爬虫数据的质量公示实践,到[[海天瑞声]]二十年长跑成为数据服务唯一上市公司,本文拆解AI时代数据质量如何从后勤问题变成核心竞争力。
📄 正文
AI项目的死法千奇百怪,但验尸报告往往长一个样:数据不行。
当所有人都在讨论模型参数、推理成本和Agent叙事时,真正决定成败的那件事——数据质量——仍然是一门没人爱干的脏活。而恰恰是这门脏活,养出了数据服务领域唯一一家上市公司海天瑞声。本文从三个看似不相关的切面说一个判断:AI竞争已经进入数据质量竞争,而质量必须可度量、可交付、可长期积累。
📉 AI死在脏数据上,从不冤枉
垃圾进不只是垃圾出,是带着机器自信心的规模化垃圾。
一个典型的场景:企业客户排队要上AI,Salesforce管理员被追问Agentforce试点什么时候跑起来,高管想要预测式仪表盘,每个厂商demo都承诺魔法。但真正跑过项目的人看到的现实是——AI几乎每次都栽在脏数据上。
脏数据的形态熟悉得让人心酸:多年网页表单和随意导入堆出来的重复联系人和线索;看起来必填、实际一半记录都空着的字段;没有任何金额、关闭日期和产品的"已成交"商机;同一个下拉框里,"N/A"、"n/a"、"NA"、"Not Applicable"五兄弟和平共处;还有那些人早离职三年、记录还活着的陈年数据。
产业逻辑在这里其实很冷酷:大语言模型和预测引擎本质是模式匹配器。把重复线索、半空的账户记录、同一家公司五种拼法喂进去,它们会信心满满地生成废话。AI助手会把工单路由到已失效的邮箱,用虚构数据给线索打分,用幻影收入总结账户。最致命的是用户的归因方式——用户不会怪数据,只会怪AI。于是产品采用率在起步之前就死掉了。
所以业内私下流传的那句话并不夸张:模型的上限是算法定的,下限是数据定的。脏数据不是"家务问题",它直接是AI问题——这也是为什么越来越多的AI战略,第一步被逼着从数据清洗开始。
🧹 质量不是字段列表,是敢晒出来的数字
敢把不体面的数字公开,才是数据产品的成人礼。
一位在Apify上运营爬虫的独立开发者做了件业内少见的事:他为自己运营的英国超市、澳洲超市、Google Hotels价格和英国房产数据源,发布了一个公开的数据质量页。他的出发点很直接——爬虫项目的README通常只以字段列表结尾:price、unitPrice、ean、inStock。但字段列表只告诉你一行数据能装什么,不告诉你字段被填上的频率、两个店铺的数据join能否对上同一个商品、上周二那次采集到底跑没跑成。而这些问题才决定数据能不能用。
他给出五项度量,第一项叫标识符覆盖率:带条码(EAN/GTIN)的行数占比,用来区分"schema里有ean字段"和"你真的能拿它做join"这两件事。2026年10月4日那周的快照数字是这样的:
| 数据源 | 条码覆盖率 | 样本行数 |
|---|---|---|
| Tesco | 99.1% | 23,352 |
| Sainsbury's | 100.0% | 26,511 |
| Asda | 98.9% | 20,196 |
| Aldi | 不提供条码 | — |
| Morrisons | 不提供条码 | — |
注意最后两行——Aldi和Morrisons根本不发布条码,数据质量页直接写明,而不是留一个刺眼的空白。这位开发者还特别强调了"包括不那么体面的部分":质量页必须带样本和日期,不体面的数字也是信息。
这件事的产业含义比它看起来的体量大。数据要素要流通,前提是质量可度量;质量可度量,前提是有人愿意把度量标准摊开。当AI应用方采购第三方数据时,字段列表式的交付会越来越没有说服力,"覆盖率多少、样本在哪、哪个日期"会变成标准问法。数据交易的信任成本,正在被这类实践一点点压下来。
🏆 唯一上市公司,把脏活干成了卡位
风口上挤满了人,长跑道上空无一人。
回头看海天瑞声,故事就很清晰了。据博主满仓胡的梳理,这家公司自2005年成立以来持续服务AI技术研发与应用,是数据服务领域少有的长跑者,也是这个赛道唯一一家上市公司。联合创始人、CEO李科是算法出身——一个懂算法的人来管数据生意,天然知道数据质量在模型侧意味着什么。
它的客户迁移路径,几乎就是一部中国AI产业史:
- 2005年:公司成立,锚定AI数据服务
- 早期:客户以头部科技互联网大厂为主
- 中期:拓展至自动驾驶数据需求
- 近期:切入大模型训练数据
- 当下:布局具身智能数据
这条路径背后的产业逻辑值得细品。数据服务的壁垒从来不是某个单点技术,而是三样东西的长期积累:跨模态、跨场景的数据工程经验;稳定可复用的质检流程;以及与头部客户的长期信任。每一波AI浪潮——从语音、图像到自动驾驶、大模型、具身智能——数据形态都在变,但"把数据做对"这件事的方法论是可以复利的。二十年的长跑,让海天瑞声在每一波新需求出现时都不用从零起步。
反面案例是行业内大量的人力外包型标注团队:需求来时一哄而上,浪潮退去一哄而散。数据这门生意的残酷之处在于,它看起来门槛低,实际对"持续做对"的要求极高——而"持续"两个字,最贵。
📊 竞争格局:技术门槛决定谁能留在牌桌上
这张牌桌上,位置比努力重要,积累比融资重要。
把当前数据服务市场的玩家放到"技术门槛—商业价值"两个维度上看,格局相当清楚:
右上的领跑者区,是像海天瑞声这类有二十年积累、能服务大模型和具身智能这类高价值场景的公司,以及背靠云生态的数据团队。左下的跟随区和存量区,聚集着大量众包平台和人力外包团队——它们在简单标注需求上仍有价格优势,但面对大模型时代"少而精、专而深"的数据需求,随时可能被工具自动化和合成数据挤压。
值得关注的变数在右下和右上之间:合成数据初创和工具软件厂商。如果合成数据技术成熟到能稳定替代部分真实数据采集,右上的格局会被重写。但至少在具身智能这类需要真实物理交互数据的场景里,真实数据采集与加工的不可替代性仍然坚挺。
🔮 下一个战场:给具身智能喂数据
每一代AI的天花板,都是由数据的形状决定的。
把三份素材拼在一起,可以推演出未来两三年的三个趋势。
第一,数据质量会从"内部家务"变成"产品特性"。素材二里那位爬虫开发者公开质量页的做法,会从个体行为变成行业惯例——采购数据就像采购任何工业品,没有质量参数表就没有交易。
第二,数据服务的技术含量会持续上升。大模型和具身智能需要的是专业领域数据、多模态数据和真机交互数据,这不再是人海战术能覆盖的活儿。算法出身的李科管理下的海天瑞声恰好卡在这个位置上——懂算法的人知道模型缺什么数据,这是纯销售驱动型团队补不上的能力。
第三,"先清洗再AI"会成为企业AI战略的标准第一步。素材三里Salesforce生态的现象正在全行业复制:企业会意识到,不解决重复线索、空字段和陈年记录,任何Agent试点都是在沙地上盖楼。这会催生一轮企业内部数据治理的刚需,数据质量工具和数据服务商会同时受益。
一句话总结:AI叙事越热,数据这个地基越冷、越硬、越值钱。
🎯 小结
三个素材指向同一个结论:AI产业的下一轮分化,不在模型层,而在数据层。脏数据让AI带着机器自信心规模化地犯错;可度量的质量公示正在成为数据流通的信任基础;而海天瑞声用二十年长跑证明,把脏活干成专业,本身就是最深的护城河。往后看,具身智能的数据需求和合成数据的冲击会同时到来——能同时接住这两件事的玩家,才是这个赛道真正的赢家。
本文由本站 AI 辅助聚合生成,原始来源如下: