🏢 公司C档 · NaN分

数据Agent落地,胜负手在模型之外

··约1分钟阅读

📋 总体概括

数据Agent演示惊艳,数字却没人敢用——问题不在模型,而在模型外的harness。本文拆解规则文件、指标定义、只读副本、检查清单、停下提问这套数据Harness五件套,讲清落地顺序与产业含义。

📄 正文

数据Agent的演示总是惊艳:自然语言一问,SQL自己写,数秒回。可当财务真的要用那个数字时,会议室里没人敢说“就用它”。问题不在模型——今天的模型足够聪明。真正决定一个数字能否被签字采纳的,是模型外面那一圈叫harness的工程围栏。这圈围栏 🔧,才是数据Agent落地的胜负手。

🚗 引擎再强,也变不成一台车

没人买一台裸发动机开去上班。

过去一年,几乎每家中大型企业都干过同一件事:买一个通用Agent工具,接到数据仓库上,让业务同事用自然语言问数。演示会上效果惊艳,两周之后它就变成“演示玩具”——回答快,但数字不敢用。

这不是个别团队的感受。MIT NANDA项目2025年8月发布的报告《The GenAI Divide: State of AI in Business》对全球300多个企业AI试点做了调查,发现约95%的生成式AI试点未能产生可衡量的业务回报 [1]。Gartner也在2025年6月预测,到2027年底将有超过40%的Agentic AI项目因成本不清、价值不明或风控不足而被取消 [2]。失败的原因高度集中在“价值与风控”,而不是模型能力本身。

问题出在哪?Addy Osmani在他关于harness工程化的文章里给出了一个被广泛引用的等式:Agent = 模型 + Harness [3]。模型是发动机,负责推理、写查询,速度快得惊人;harness是发动机之外的整辆车——它读到的指令、可以调用的工具、被允许触碰的数据范围、步骤之间的记忆、工作必须通过的质量检查,以及需要人工审批才能继续的节点。

发动机在车间台架上马力再大,没有方向盘、刹车、油路和仪表,它就只是一台昂贵的机器。同理,模型再聪明,没有被这六样东西围起来,它产出的每一个数字都只是“未经检验的草稿”。

产业逻辑在这里非常清晰:模型层正在快速同质化——头部模型谁都能调用,闭源开源差距在缩小;厂商真正能做出差异的,是harness的工程质量。可以印证的是,主流数据平台厂商已经把竞争重心放在Agent的“围栏”上:Databricks的Genie要求绑定语义模型才能回答业务问题 [4],Snowflake的Cortex Analyst官方文档明确指出,单纯依赖Text-to-SQL的准确率不足以支撑生产使用,必须配合语义模型(YAML规格)才能达到可接受的准确度 [5]。买Agent工具时,厂商送你的是一套通用harness,它为写代码、订机票、写周报这类场景设计。而数据工作是完全不同的场景:答案的对错可以被一个数字精确判定,信任建立的成本极高。通用harness管不了这件事。

dbt Labs的State of Analytics Engineering年度调查连续多年显示,数据团队排名第一的痛点不是技术,而是“口径不一致、业务对数字缺乏信任” [6]——这正是通用harness覆盖不到的空档。

📦 数据Harness的五件套:最小完备集

通用harness让Agent能干活,数据harness让数字能被相信。

这套方法非常工程化:在通用工具自带的harness之外,数据团队需要自己加五样东西,而且要按企业成长的顺序依次添加:

1. 规则文件——Agent必须遵守的“宪法”:哪些事不能做、回答要什么格式、必须引用哪些依据;

2. 指标定义——Agent给出的每一个指标,必须能引用到某一条正式的指标定义上,有出处才可信;

3. 只读数据副本访问——不让Agent碰生产库,给它一份数据副本的只读权限;

4. 完成前检查清单——一份简短的检查列表,通过之前,答案不算“完成”;

5. 停下提问规则——当没有任何指标定义覆盖当前问题时,停下来问人,而不是编一个。

这五件套并非凭空发明,业内早有可查的先例:Airbnb在2022年的工程博客中公开介绍了其中央指标平台Minerva——所有指标统一定义、统一入口,作为公司数据文化的“单一事实来源”,其设计动机(解决口径冲突、定义可追溯)与今天数据harness的诉求完全同构 [7];dbt Labs的Semantic Layer(开源的MetricFlow)则把“指标即代码”做成了开源事实标准,被多家AI问数产品(如Snowflake Cortex Analyst、Databricks Genie的语义模型配置)直接对接 [8]。

这五件事对应的是数据工作里最高频的四类事故:

数据Harness五件套(示意图,结构关系示意,非实测数据)
痛点 1
口径各说各话,数字对不上
→
解法
强制引用指标定义
痛点 2
Agent直连生产库,安全失控
→
解法
只读副本访问
痛点 3
答案无法验收,质量靠运气
→
解法
完成前检查清单
痛点 4
定义没覆盖就瞎编
→
解法
无定义即停、转人工

五件套的关系可以画成一张简单的结构图——每一件独立生效,共同指向同一个目标:

(图为概念结构示意,不对应具体系统实测数据。)

顺序也很讲究。实践建议是“随着公司成长按此顺序添加”:起步期先把规则文件和指标定义写清楚——这两件几乎零成本,主要靠治理梳理;成长期接只读副本和检查清单,开始动基础设施;成熟期再把“停下提问”打磨成制度化的人机协作流程。一口气全堆上去的团队,往往一件也做不扎实。

📐 口径之争:指标定义才是硬通货

Agent不会消灭口径之争,只会把口径债务放大给你看。

一个典型场景:业务部门问“上季度活跃用户多少”。市场部说的活跃是“打开过App”,产品部说是“完成一次核心动作”,财务口径又不一样。过去这个问题靠开会扯皮解决;现在Agent替你回答,它选了哪个口径?如果答案不引用指标定义,这个问题根本无法追问。

行业实践给出的硬性要求是:Agent必须引用(cite)它所使用的指标定义。这不是理念主张,而是已经写进产品规格的功能要求——Snowflake Cortex Analyst的官方文档明确要求语义模型中的每个指标携带可验证的定义,Agent的回答需锚定到这些定义上 [5]。这一句话,实质上是把语义层变成了Agent时代的“法律条文”。数字可以错,但错在哪一条定义上必须可查。

这里藏着一条被很多团队低估的产业判断:Agent不是数据治理的替代品,而是数据治理债务的放大器。治理做得好的公司,Agent一接上就能跑;治理欠账的公司,Agent会把每一笔欠账当众曝光。市场信号正在验证这一点:dbt Labs的Semantic Layer在2023年重新设计并开放公测后,已成为各大AI问数方案的标配对接层 [8];更早的先例是Looker——它凭LookML语义层在2019年被Google以26亿美元收购 [9],说明“把口径变成机器可执行的代码”这件事,产业界早已用真金白银投过票。指标平台、语义层这些前几年被认为“不温不火”的方向,正在因为Agent的普及迎来第二春——它们不再是BI报表的附属品,而是AI可信回答的地基。

两种建设思路的差别,值得摆到台面上对比:

维度模型中心思路Harness中心思路
可信度来源期待模型更聪明口径、权限、检查三重围栏
出错处理换更强的模型重试检查清单拦截 + 追溯定义
成本曲线随模型升级持续投入一次性治理投入,边际递减
团队分工算法工程师主导数据治理与平台工程主导
信任建立逐案例说服业务机制性、可审计

一句话总结这张表:模型中心思路在赌未来,harness中心思路在修系统。赌未来没有错,但系统不能只靠赌。

🔐 只读副本:给Agent修一条安全车道

权限设计是harness里最贵、也最值钱的部分。

每一个让Agent直连生产库的团队,都有一位睡不着的DBA。Agent会生成不可预测的查询——一次全表扫描、一个误写的更新语句,代价可能是全业务停摆。这不是杞人忧天:2025年,安全研究社区已多次披露LLM集成数据库环境下的提示注入与越权读写风险,OWASP也把“敏感信息泄露”和“过度代理”(excessive agency)列入了LLM应用十大风险清单 [10]。行业给出的方案朴素而有效:给Agent的不是生产库,而是数据副本的只读(read-only)访问权限——主流湖仓平台(Snowflake、BigQuery、Databricks)都原生支持按角色、按副本授予只读访问,这是架构常识而非新发明。

只读副本解决的是“能不能碰”的问题,但“能碰到多少”同样重要。按工程门槛和可信度两个维度,把市面上常见的接入方式摆一遍,格局就很清楚了:

(图为作者基于公开方案的定性定位示意,用于说明演进方向,不代表任何厂商实测评测。)

从左下到右上,本质是同一个演进方向:把Agent和数据之间从“裸奔”变成“有车道、有限速、有监控”。只读副本处在领跑区,因为它在安全性和建设成本之间达到了最好的平衡——湖仓架构天然支持多副本、多消费者,Agent不过是又一位持有只读权限的新读者。

与权限配套的还有验收机制:实践强调“一份简短的检查清单,通过之前答案不算完成”。检查什么?比如数字是否引用了指标定义、查询是否只读了授权范围、结果量级是否合理。这套清单的价值在于把“我觉得差不多”变成“逐项通过”,答案第一次有了客观的完成标准。检查清单跑在自动化的闸门上,不通过的答案根本到不了业务手里。这一思路与Anthropic在《Building Effective Agents》中给出的建议一致:在高风险场景中,把Agent的自主权收窄、增加验证环节和人工审批点,比追求完全自主更可靠 [11]。

从公开信号看,这一做法正在从可选项变成默认项:各大云数仓厂商2025年发布的Agent问数产品(Snowflake Cortex Analyst、Databricks Genie、BigQuery Data Agent)在架构文档中普遍要求通过语义模型层+受限只读角色接入,而非直连生产库 [4][5][12]。

🛑 敢说“我不知道”的Agent,才值得托付

停下来,是自动化里最被低估的能力。

五件套的最后一件,也是最反直觉的一件:当没有任何指标定义覆盖当前问题时,Agent必须停下来问人,而不是编一个答案。传统产品思维里,“答不上来”是缺陷;但在数据场景里,一个自信的错答案,比一句“这个问题没有定义覆盖”贵得多——前者会被拿去做决策,后者只会触发一次澄清。

这就是人工审批点(approval)的意义:不是人肉兜底所有问题,而是在无据可依的边界上设置哨兵。Anthropic在Agent设计指南中把“人在环”(human-in-the-loop)审批列为高风险工具调用的标准配置 [11];Google Cloud的Agent设计文档同样把“对不可逆操作设置确认门”列为核心原则 [12]。随着指标定义覆盖面扩大、检查清单完善,哨兵的触发频率会自然下降——自动化的边界是被治理推着往外扩的,而不是靠模型自觉。

把整条落地路线按时间排开,大致是这样的节奏:

(图为阶段性节奏示意,时长为参考值,实际项目周期取决于企业数据治理现状。)

这条路线的产业含义在于:数据Agent的落地不是一次采购,而是一段治理工程。它把过去散落在报表、开会、口头对齐里的数据规则,第一次显式地写进了机器可执行的文件里。回头看,这五件套没有一件用到高深技术——规则文件是文档,指标定义是治理,只读副本是架构常识,检查清单是验收,停下提问是流程。真正稀缺的,是把它们组合起来的耐心。

小结

数据Agent的竞争,正在从“谁的模型强”转向“谁的harness稳”。模型是发动机,harness才是整辆车;规则文件、指标定义、只读副本、检查清单、停下提问,这五件套按企业成长顺序依次装上,数字才敢被签字 🚀。前瞻地看,随着指标平台和语义层回归舞台中央,harness本身正在成为一个可复用、可售卖的产品品类——谁先把围栏工程化,谁就拿到数据Agent落地的入场券。

🎯落地结论

一个可以下周一就开始的清单

把上面的判断压缩成可执行的动作,供数据团队负责人对照自查:

本周就能做的(零采购、零架构变更):

1. 盘点你所在团队Top 20个高频业务指标,每一条写下:定义、口径、负责人。写不出来的,就是你Agent上线的第一批“停下提问”触发点;

2. 给Agent准备一份一页纸规则文件:不能碰什么、回答格式是什么、必须引用什么。它就是harness的“宪法”第一章。

一个月内该做的:

3. 在数仓里建好只读副本/只读角色,Agent的所有查询走这条车道,生产库的写权限一个字节都不给;

4. 给Agent的输出加一份四项检查清单:是否引用了指标定义、是否越权、量级是否合理、是否属于无定义覆盖的问题——最后一项的回答必须是“转人工”。

一个季度内该做的:

5. 把“停下提问”的触发记录变成治理需求池:每次Agent停下来,说明又发现了一处口径欠账,补一条定义、扩一分自动化边界;

6. 在季度复盘里用两个数字衡量harness的成熟度:Agent答案被业务签字采纳的比例、“停下提问”触发次数的下降趋势——前者上升、后者下降,说明围栏在起作用。

一句话收束:不要问你的Agent有多聪明,先问它外面有没有刹车、仪表和限速牌。 治理先行、权限先行、验收先行——这三件先行的团队,才配得上模型这个越来越强的发动机。

参考信源

[1] MIT NANDA,《The GenAI Divide: State of AI in Business》,2025年8月——约95%企业生成式AI试点未产生可衡量业务回报。

[2] Gartner新闻稿,2025年6月——预测至2027年底超过40%的Agentic AI项目将被取消。

[3] Addy Osmani,关于Agent Harness工程化的文章(addyosmani.com)——Agent = 模型 + Harness框架。

[4] Databricks官方文档,Genie与语义模型绑定机制。

[5] Snowflake官方文档,Cortex Analyst——语义模型(YAML)对Text-to-SQL准确率的必要性说明。

[6] dbt Labs,《State of Analytics Engineering》年度报告——数据团队首要痛点为口径不一致与信任缺失。

[7] Airbnb Engineering Blog,《Minerva—a programmable semantic layer》,2022——中央指标平台的单一事实来源实践。

[8] dbt Labs,Semantic Layer / MetricFlow官方文档——“指标即代码”的开源标准。

[9] Google收购Looker公告,2019年6月,交易金额26亿美元。

[10] OWASP,Top 10 Risks for LLM Applications——敏感信息泄露与过度代理(excessive agency)风险项。

[11] Anthropic,《Building Effective Agents》,2024年12月——工作流vs.自主Agent的选型、验证环节与人工审批建议。

[12] Google Cloud,Agent设计与BigQuery Data Agent官方文档——受限数据接入与确认门原则。

说明:文中mermaid图表与infographic均为概念示意,坐标、时长等数值不代表实测数据;各处产业判断均已附注公开可查的信源,引用以原文发布时的公开信息为准。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)