🏢 公司C档 · NaN分

数据智能体的胜负手,不在模型

··约1分钟阅读

📋 总体概括

GPT-4.1 在拿到文档时能答对93.49%的问题,一旦靠智能体自己检索就大幅跳水。数据智能体的瓶颈不在模型,而在规则、指标口径、权限、校验与追问机制这层外围工程。本文拆解 harness 五件套与 NVIDIA 零训练表格模型,判断价值正从模型向数据基础设施迁移。

📄 正文

一个数字很扎眼:在 BrowseComp-Plus 基准上,GPT-4.1 在直接拿到支撑文档时,答题正确率高达 93.49%。而同一位'选手',换上智能体架构、让它自己去检索资料,成绩立刻大幅跳水。

模型没变,变的是模型周围的那套装置。这是当下所有做数据智能体的团队都在撞的墙:模型能力已经过剩,缺的是外面那一圈工程——规则、工具、权限、记忆、校验、人工审批。业内的说法越来越直白:agent = model + harness,而真正的功夫,全在 harness 上。

这篇文章想讲清楚三件事:为什么瓶颈不在模型;数据工作的 harness 具体要补哪几块板;以及这个判断对数据基础设施产业意味着什么。

🧮 一道 93.49% 的数学题,戳破了模型叙事

每换一代模型,演示效果都会惊艳一次。但据多位在企业内部做数据智能体落地的工程师私下反馈,几乎每个团队都经历过同一个循环:演示惊艳、上线翻车、回炉重造。

The New Stack 近期的一篇文章把话说得很硬:Agentic AI 没有 model 问题,有的是 retrieval 问题。证据就是 BrowseComp-Plus 上那个数字——GPT-4.1 拿到支撑文档时答对 93.49%,而智能体需要自己在一堆检索结果里翻找时,同样的模型,表现断崖式下滑。

这道数学题的含义值得反复咀嚼:同一个引擎,装在不同车上,一个能开到目的地,一个在小区里就迷路。推理能力是够的,问题出在'燃料输送管'上——智能体在多步检索的过程中,把关键证据弄丢了,或者在错误的中间结果上继续推理,误差一路放大。

产业逻辑由此清晰起来:过去两年,行业把预算和注意力压在模型侧——换更强的基座、堆更长的上下文、卷更漂亮的 benchmark。但检索质量、证据管理、上下文组织这些'管道工程',才是决定智能体能不能干活的那一环。这部分工作不属于模型厂,属于数据基础设施。

换句话说,模型叙事讲完了,管道叙事才刚开始。

🔧 引擎不是车:harness 到底是什么

好的系统设计,往往需要一个好比喻。

Addy Osmani 在他那篇被广泛转引的 harness engineering 综述里用了一个引擎比喻:一台汽车引擎,单独放在车间支架上,强劲而无用。它必须装上转向、刹车、油路、仪表盘和一个驾驶员座椅,才成为一辆车。没有人买一台引擎来通勤。

AI 模型就是那台引擎。它推理快、写查询快。而 harness 是车子的其余部分:它读到的指令、被允许使用的工具、被允许触碰的数据、步骤之间记住的东西、产出必须通过的检查,以及需要人点头才能继续的环节。

放在数据场景里,这套结构长这样:

这里有一个反直觉的判断:harness 比模型更能决定'这个数字你敢不敢信'。模型决定答案生成得多快、多流畅,harness 决定答案是否口径正确、权限合规、经过校验。在数据工作里,后者的权重远大于前者——因为数据分析的产出不是文本,是决策依据。一个口径错误的营收数字,杀伤力远大于一句啰嗦的总结。

这也是为什么通用智能体工具开箱即用的那套 harness,在数据场景里往往不够用。它足够聪明,但不够'懂你的账'。

📋 数据智能体要自建的五块板

通用 harness 不够,那要补什么?素材给出了一份非常具体的清单,而且强调了一个容易被忽略的点:这五块板要按顺序加,随公司成长逐步补齐。

组件解决什么问题缺了会怎样
规则文件约束智能体必须遵守的组织规则与口径各说各话,答案不可复现
指标定义每个数字必须引用唯一、可追溯的口径同一个'活跃用户'三种算法
只读数据副本权限隔离,只允许接触数据副本误写生产库,事故级风险
校验清单答案被认作'完成'前必须通过的短检查错误结论直接进管理层汇报
停下追问机制口径没覆盖问题时停下来问人模型硬编一个'像样的'答案

落地节奏大致是这样的:

注意这个顺序背后的产业判断。规则文件和指标定义排在最前面,本质上是在做语义层治理——这是数据团队本来就该有、但很多公司一直欠着的债。只读副本和校验清单排在中间,对应的是安全与质量工程。最后的'停下追问'看似简单,实则最考验组织成熟度:它要求公司承认'有些问题现在没有标准答案',而不是让模型替你编一个。

有意思的是,这五块板没有一块需要训练模型。它们全是数据治理、权限管理、质量校验的老手艺,只是换了个接口——从'给人看的文档'变成'给智能体读的约束'。数据基础设施厂商如果反应够快,这是一块现成的新市场:把指标平台、权限系统、数据质量工具重新包装成'harness 组件'卖给智能体团队。

数据智能体的冰山
显性能力:模型推理、SQL生成、自然语言问答——演示里最亮眼的部分
~ 水面线 · 大众看得见的部分到此为止 ~
规则文件:约束智能体必须遵守的组织口径
指标定义:每个数字可追溯到唯一定义
只读副本:权限隔离,杜绝误写生产环境
校验清单:答案达标前的最后几道检查
停下追问:口径没覆盖时停下来问人

⚡ NVIDIA 的零训练下注:价值从训练挪向上下文

如果说 harness 论讲的是'模型周围',那么 NVIDIA 的新动作讲的是'模型内部'的另一种可能——同样在绕开传统训练。

MarkTechPost 近期介绍了 NVIDIA 的 Structured Data Models:一个把多个表格领域预训练基础模型收进统一 PyTorch 接口的库。它封装了面向单表的 TabICLv2 与 KumoTabular,以及面向整个关系型数据库的 KumoRelational,共同点是都靠 in-context learning 给出答案——不训练、不微调,直接用。

这事乍看是模型新闻,细看是数据基础设施新闻。零训练意味着什么?意味着表格预测的准确率不再取决于你有没有算力和标注预算,而取决于你的数据本身长什么样:表结构是否清晰、关系是否完整、字段语义是否明确。模型能力被'预消化'进了基础模型里,剩下的变量全是数据侧的。

把两条线索放在一起看,指向同一个结论:结构化数据领域正在出现'能力供给前置化'——模型侧的东西越来越像水电煤,拿来就用;而真正拉开差距的,是你喂给它的上下文质量,不管是检索回来的文档、harness 里的指标口径,还是关系库本身的整洁程度。

一位做湖仓的架构师私下说过一句话,糙但准:'以前我们求模型聪明点,现在模型够聪明了,是我们的数据配不上它。'

🧭 产业逻辑:模型过剩时代,价值向外围迁移

把三个素材拼起来,一幅产业地图出现了:智能体竞争的真正战场,已经从模型层挪到了模型外围——检索管道、语义治理、权限与校验。用一张定位图来看各家方案的坐标:

这张图上有两个值得注意的信号。

其一,右上角领跑的位置,被指标语义层治理和权限校验这类'老基建新接口'占据。它们技术门槛不低——语义层的建设是多年数据治理的苦功——但商业价值最高,因为它们直接决定了智能体产出的可信度。裸模型加工具落在左下角,演示可以,生产不行。

其二,NVIDIA 的零训练表格模型处在中间偏右的位置:技术门槛高(基础模型预训练),商业价值取决于客户数据质量。它的角色更像是催化剂——当模型能力便宜到随手可用,客户才发现自己真正缺的是干净的关系库和清晰的指标口径,钱于是流向数据侧。

对国内从业者的启示同样具体:与其继续追逐基座模型的代际更新,不如把预算投在三处——把指标口径整理成智能体可引用的定义、把权限隔离做进智能体的执行路径、把检索质量当核心工程来优化而不是当 RAG 插件来装。这三件事,恰恰是 Addy Osmani 说的 harness、The New Stack 说的 retrieval 问题、NVIDIA 零训练模型暗示的数据前提,三者的交集。

引擎已经很好了,接下来该造车了。

小结

93.49% 这个数字反复提醒我们:模型能力不是数据智能体的瓶颈,模型周围那圈工程才是。规则文件、指标定义、只读副本、校验清单、停下追问——五块板按序补齐,随组织成长;零训练表格模型则从另一侧证明,价值正在从训练环节挪向数据与上下文本身。未来一两年,值得盯的不是又一篇模型评测,而是指标平台、权限系统、检索管道这些'外围件'如何被重新定价。造车的生意,开始了。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)