Agent 吃掉的不是引擎,是数据接口
📋 总体概括
Agent 分析工作流、向量存储实测算、湖仓布局基准测试,三个独立信号指向同一判断:AI 重构的是人与数据的接口层,查询引擎本身岿然不动;真正的隐性成本藏在向量存储、数据布局与治理决策里。
📄 正文
2025 年的数据基础设施圈,人人都说「AI 要重构一切」。但把最近三件不太起眼的事摆在一起看——一篇关于 Agent 分析工作流的架构文章、一位博主摊开算的向量存储账、一次湖仓布局策略的基准测试——结论反而很朴素:AI 改变的是数据接口,不是查询引擎;而真正的账,藏在存储和布局里。
这三件事分别回答了三个问题:Agent 到底吃什么、RAG 知识库的钱花在哪、湖仓性能到底由谁决定。合起来,就是一份 2025 年的数据平台决策地图。
🤖 Agent 重写的是接口层,引擎原地不动
先看一个具体的灾备场景:灾难恢复时的业务分析,传统流程要走数据分析师接需求、写 SQL、跑批、出报告,一套下来以天计。而 Peihao Yuan 描述的新工作流是这样的:AI Agent 接收自然语言问题,生成带约束的 SQL 或 Python,DuckDB 直接从 Parquet 文件算出结果,Agent 再负责解释这些结果——整套流程分钟级。
注意这里的关键设计:确定性拆分。模糊的部分——理解意图、选择口径——交给模型;精确的部分——聚合、过滤、计算——交给引擎。Agent 生成的代码带约束,跑在 DuckDB 这种嵌入式引擎上,每次执行结果可复现、可重放。换句话说,分析本身变成了一段可以归档、可以回放的「确定性产物」,Agent 只是外面那层会说话的皮。
这件事的产业含义比看起来大。很多团队的第一反应是「我们要不要换个 AI 原生查询引擎」,但 Peihao Yuan 的答案恰恰相反:引擎不用换,DuckDB 加 Parquet 这种十几年前就存在的组合足够用。真正被重写的,是人机和数据之间的那一层接口——从 BI 看板、SQL 控制台,变成了 Agent 生成受限代码、引擎算数、Agent 翻译的循环。
这条架构路线的价值在于隔离边界:让 Agent 直接碰生产库,权限、口径、可复现性三关都难过——这也是各家 Agent 数据产品文档里反复强调的红线。把计算压到本地引擎加开放格式的组合上,等于把「不确定的模型」和「确定的事实」物理隔开,这是目前最省心的架构。
当然,嵌入式引擎不是万能的。什么时候它够用、什么时候必须上管理型湖仓,文章给出了四条判断信号——这个我们放在最后一节展开。
💸 向量这笔账,成本表上根本没这一行
钱的事,永远比架构的事先爆雷。
博主 大Token 做了一次很少人做的实测算:建 RAG 知识库做检索,大家习惯性只算 embedding 调用费,几乎没人算向量本身占多少地方。他用 Python 3.13 标准库写了个纯算术脚本,场景设为 100 万条文本块、每块 500 token,然后把存储账摊开。
按 OpenAI 官方文档,text-embedding-3-small 默认输出 1536 维,text-embedding-3-large 默认输出更高维度。做个简单算术(float32 存储):
| 模型 | 默认维度 | 单向量体积 | 100 万条裸存储 |
|---|---|---|---|
| text-embedding-3-small | 1536 | 约 6 KB | 约 5.9 GB |
| text-embedding-3-large | 3072 | 约 12 KB | 约 11.7 GB |
裸数据只是一层。真实账单还要叠加:向量索引(如 HNSW)常驻内存的开销、为容灾做的副本、元数据和文本块本身。粗略推算,索引和副本很容易让实际占用翻倍——100 万条块子的知识库,真实 footprint 是十几 GB 起步,且其中相当一部分要常驻内存才能保证检索延迟。
调用费是脉冲式的,花一次记一次;向量是资产式的,写一次、常驻读、持续付费。这两种成本模型的会计科目完全不同,但绝大多数团队的预算表里只有前者的那一行。
这解释了为什么越来越多的 RAG 项目中途换方案:不是检索质量不行,是存储和内存账超了。产业逻辑很清晰——维度每翻一倍,存储、索引、内存全线翻倍,模型效果提升和基础设施成本是刚性联动的。降低维度、量化压缩(int8、二值化)、冷热分层,这些「向下压缩」的工程活,正在成为向量基础设施的主战场。AI 时代的数据栈,第一个被重新定价的就是向量。
🧱 决定湖仓性能的,是看不见的摆放方式
如果说向量是 AI 时代的新资产,那湖仓就是承载它的仓库——而仓库的性能,很大程度上取决于货物怎么摆。
Kushal Kumar Vishwakarma 在 Delta Lake 上做了一组基准测试,对比三种物理数据布局策略:传统分区(partitioning)、ZOrdering 和 Liquid Clustering,横跨四类负载。他的结论开门见山:物理数据布局是湖仓工程里影响最深远的一个决策,而且测试中发现了两种未在官方文档中披露的失效模式——很可能此刻正影响着一些生产系统。
测试的负载设置很具体:一张约 10 亿行、200 GB 量级的 Delta 表,四类负载分别是——高选择性点查(谓词命中不到 0.1% 的行)、3–5 个过滤条件的多维聚合、宽时间范围扫描、多表 join 的报表类查询。结果呈现清晰的分化:
- 点查类负载下,选对分区键的静态分区裁剪率最高,但一旦查询列与分区键错位,裁剪率直接跌到接近零,退化为全表扫描;
- ZOrdering 在多维过滤场景裁剪效果最均衡,但重写一次的代价与表体积成正比——200 GB 的表每轮 OPTIMIZE 都要付出同量级的算力和存储 IO;
- Liquid Clustering 在持续追加写入下维持稳定的裁剪效率,无需周期性全量重排,代价是写入路径上多一层 clustering 元数据维护的开销。
这个判断和一线经验高度吻合。「湖仓慢」的工单,查到最后往往不是引擎问题,而是布局问题:分区键选错导致扫描裁剪失效、小文件爆炸、ZOrdering 重写一次的数据量比业务写入还大——这些都是布局文档里写不明白、只能靠基准测试暴露的坑。
三种策略的逻辑其实是一个三角:
| 策略 | 写入开销 | 读取裁剪 | 维护模式 |
|---|---|---|---|
| 分区 partitioning | 低 | 依赖分区键选对 | 静态,需提前预估 |
| ZOrdering | 高(重写数据) | 多列均衡 | 周期性全量重排 |
| Liquid Clustering | 中 | 数据驱动、增量 | 增量自适应 |
行业走向因此很清楚:分区是老牌方案,便宜但靠人脑预估,预估错了就失效;ZOrdering 用重写换裁剪,代价是维护窗口和算力;Liquid Clustering 代表的方向是让布局策略数据驱动化、增量化——不再要求工程师在建表那天就赌对数据分布,而是让系统自己跟着查询模式演化。这和 Agent 时代的诉求天然契合:查询模式由 Agent 生成、变化快且不可完全预估,静态布局赌不起。
那两种未公开的失效模式,文章没有展开细节,但这个事实本身就够警醒:布局策略的坑,文档不会告诉你,基准测试会。 生产系统的布局决策,越来越需要自己跑一遍负载再拍板。
🧭 决策框架:嵌入引擎够用,还是必须上湖仓
把前面三条线拧成一股,就是一个可以落地的决策框架。
回到 Peihao Yuan 提出的核心问题:什么时候嵌入式引擎(DuckDB + Parquet)就够了,什么时候必须上管理型湖仓?文章给了四条判断信号。结合一线实践,归纳为四个自检维度:
- 数据量级:几个 GB 到几十 GB、单机内存放得下索引,嵌入式绰绰有余;到了 TB 级、多表关联,该上湖仓;
- 更新模式:批式写入、偶发刷新,嵌入式够用;流式持续摄入、频繁 upsert,湖仓的事务层才有价值;
- 并发与服务化:一个人或一个小团队的探索式分析,嵌入式;要给几十上百人、甚至一群 Agent 提供稳定 SLA 的查询服务,湖仓;
- 治理要求:个人分析可以裸奔,涉及审计、权限、血缘的,湖仓的治理层不是可选项。
一条收敛的判断规则:四个维度里有两个越线,就该启动评估;两个以上越线,直接按湖仓规划,不要中间态。 而且要注意,Agent 化会加速这个进程——当分析的发起方从几个分析师变成几十个自动运行的 Agent,查询并发和治理要求会非线性增长,四个维度可能同时塌掉。
这条路线的精髓在于顺序:先用最便宜的架构验证价值,用基准测试和数据实测做决策依据,再决定要不要为规模化付平台税。 反过来——一上来就按「AI 原生数据平台」的规划上全套湖仓——是概念泡沫时代最贵的踩坑方式。
小结
三个素材,一个判断:AI 没有颠覆查询引擎,DuckDB 还是那个 DuckDB,SQL 还是那套 SQL。被重写的是接口层——Agent 生成受限代码取代了人工写查询;被重新定价的是存储——向量成了新的常驻资产;被推到台前的是布局——Agent 的动态查询模式让静态分区赌不起。2026 年的数据平台竞争,胜负手不在谁的概念更新,而在谁把接口、成本、布局这三笔账算得更清楚。先算账,再上桌。
本文由本站 AI 辅助聚合生成,原始来源如下: