数据Agent卷错了地方
📋 总体概括
数据Agent的瓶颈不在模型,而在模型之外的harness与检索管道。本文拆解harness五件套、检索掉分真相与表格基础模型变局,给出按企业成长阶段排布的落地路线。
📄 正文
不少团队今年的动作出奇一致:换更强的模型、刷更高的榜单,然后发现数据Agent的回答照样不可信。问题出在哪?一个正在被越来越多人接受的判断是:Agent等于模型加上harness——真正决定那个数字能不能信的,是模型外面那一圈,而不是模型本身。
🚗 没人买发动机是为了开车
先讲一个Addy Osmani用过的比喻。一台汽车发动机,放在车间支架上,功率再大也没用——你没法开着它去上班。要变成一辆车,得装上方向盘、刹车、油路、仪表盘,还得给司机留个座位。
大模型就是那台发动机。它推理快、写SQL快,但仅此而已。harness是车子的其余部分:它读什么指令、能调用哪些工具、被允许碰哪些数据、步骤之间记住了什么、产出要过哪些校验、哪些节点必须有人点头才能继续。Agent = 模型 + harness,这句话正在从口号变成工程共识。
关键判断在这里:你买来的Agent工具,自带的是一套通用harness。通用的东西对通用的任务够用,可数据工作偏偏是方言最重的领域——每家公司的口径、权限、审批流都不一样。所以数据团队真正要做的事,不是继续比较模型参数,而是自己动手补装五个部件。下面这张图,就是一台『数据Agent整车』的装配图:
| 维度 | 模型决定的事 | Harness决定的事 |
|---|---|---|
| 查询生成 | SQL写得快不快、语法对不对 | 这条SQL能不能在真实库上跑 |
| 数值口径 | 理解『GMV』这个词 | 引用的是不是公司认证口径 |
| 数据安全 | 无法保证 | 只读、脱敏、最小权限 |
| 结果可信 | 无法保证 | 上线前的一串校验卡口 |
| 边界感 | 倾向强行作答 | 没覆盖就停下来问人 |
一句话:发动机的马力你已经买到了,缺的是刹车和仪表盘。
📉 模型不背这口锅,检索才是掉分点
如果harness是方向盘和刹车,检索就是那根油路——油供不上,马力再大也是空转。
一个很扎眼的实验数据:在BrowseComp-Plus基准上,GPT-4.1在直接拿到支撑文档的情况下,答题正确率高达93.49%。而当同样的任务交给一个需要自己检索资料的Agent时,成绩大幅滑落。模型没变,变的只是『油路』。
这组对照几乎宣告了一场归因错误的终结:过去一年,很多团队把Agent答不准归咎于模型推理能力,于是不停换模型、加参数。但93.49%说明推理本身够用了——分是在检索环节漏掉的。资料没召回、召回得不对、召回了但喂错顺序,任何一环出问题,下游再强的推理都是空中楼阁。
看这张定位图就明白钱该花在哪:提示词调优门槛低但天花板也低,纯属跟随者游戏;而检索管道和指标语义层落在高价值区,才是真正的领跑者座位。据多位接近头部大厂数据团队的人士透露,今年立项评审的风向已经变了——讲模型选型的项目越来越难过会,讲检索链路和口径治理的项目反而好拿预算。
产业逻辑很直白:模型能力在快速商品化,谁都能买到差不多的引擎;而检索管道和语义层长在你自己的数据地基上,抄不走、买不来。这才是数据团队的护城河。
🧮 表格也有基础模型了,工具层正在变厚
harness里最容易被低估的部件是工具。而工具这一层,最近出现了值得认真对待的新物种。
NVIDIA推出了Structured Data Models——一个把多个预训练表格基础模型装进同一个PyTorch接口的库。它封装了三款模型:面向单表的TabICLv2和KumoTabular,以及面向整个关系型数据库的KumoRelational。共同点是:它们都用上下文学习(in-context learning)作答——零训练就能对表格数据做预测。
这件事的意义要放在数据工作的语境里读。传统做表格预测,路径是理解业务→取数→特征工程→训练模型→调参上线,周期以周计。而表格基础模型把前三步压缩掉了:模型『看』一眼你的表结构或库结构,直接在上下文里学习并给出预测。对数据Agent来说,这意味着工具箱里多了一件重武器——过去Agent只会写SQL取数,现在可以直接调用预测能力。
但硬币的另一面是:工具越强,对harness其余部件的要求越高。一个能直接对整库做预测的Agent,如果权限不收敛、口径没约束、结果没有校验卡口,等于给了实习生一辆没有刹车的跑车。工具层的进化速度已经跑在了治理层前面,这个剪刀差正是当前数据Agent落地失败率居高不下的重要原因。
🛠️ 五件套:按企业阶段排布的落地路线
harness在数据场景的具体形态,可以收敛成五件套:
第一件,规则文件:Agent必须遵守的硬约束,类似给新员工的制度手册。第二件,指标定义强制引用:回答里出现任何指标,必须注明出自哪一版认证口径,杜绝『我觉得GMV是这样算的』。第三件,只读副本:给Agent一条指向数据副本的只读通道,物理隔离写风险。第四件,校验清单:一小串答案过关前必须通过的检查——量级是否合理、口径是否匹配、空值是否解释。第五件,不明确即追问:问题落在定义盲区时,停下来问人,而不是编一个数字。
次序不是随意的,要跟着企业数据成熟度走:
起步期的公司先立规矩,让Agent行为有边界;成长期补上语义和权限,让答案可追溯、数据可隔离;成熟期才上校验和追问机制,把『可信』变成流程的一部分。跳级是常见的翻车姿势——没有口径治理就上校验清单,等于拿尺子去量一团雾。
圈子里现在流传一句话:数据Agent项目一年内能不能活,看的不是 demo 那一分钟的惊艳,而是第五个月业务方还愿不愿意相信它报的数。而信任,恰恰是harness的产出物,不是模型的。
小结
2026年数据Agent竞赛的真实格局是:引擎在商品化,胜负手在车架。93.49%的检索对照实验宣告了『换模型救Agent』路线的破产,表格基础模型则让工具层能力陡增——两边夹击之下,规则、口径、权限、校验、追问这五件套,就是数据团队手里最实的一把牌。先装刹车,再踩油门;harness做好了,模型升级只会是锦上添花。
本文由本站 AI 辅助聚合生成,原始来源如下: