AI改的是数据插座,不是发电机
📋 总体概括
Agent 在前面写 SQL,DuckDB 在后面算数——AI 改写的是数据接口,不是查询引擎。本文拆解 AI 时代数据层的三笔账:可复现的分析工作流、被普遍低估的向量存储成本、以及分区/ZOrdering/Liquid Clustering 的布局选型,给出嵌入式引擎与托管湖仓的分界判断。
📄 正文
很多团队以为上了 AI,数据工程就翻篇了。恰恰相反:Peihao Yuan 在一篇技术文章里展示的灾备分析工作流、博主 大Token 摊开算的向量存储账单、以及 Kushal Kumar Vishwakarma 在 Delta Lake 上跑完的四类负载基准,指向同一个结论——AI 改写的是数据接口,底下那层引擎、存储、布局,一个都没少干活,反而更贵、更关键了。
这篇文章把三笔账摊开算一遍:接口的账、存储的账、布局的账。算完你会发现,AI 时代的数据工程师不是被替代了,是被重新定价了。
🔌 接口变了:Agent 在前面写 SQL,引擎在后面算数
AI 没有取代查询引擎,它只是成了引擎的接线员。
先看一个具体场景。Peihao Yuan 描述的是一个灾备分析工作流:AI Agent 接到分析请求后,生成受约束的 SQL 或 Python 代码,交给 DuckDB 直接对 Parquet 文件做计算,产出可复现的事实结果,最后由 Agent 负责解读和呈现。
这里最有价值的不是 Agent 会写 SQL——这件事两年前就不新鲜了——而是一条明确的确定性拆分原则:凡是需要精确、可重放的部分,交给确定性引擎;凡是需要语义理解和表达的部分,交给大模型。
为什么要这么拆?因为 LLM 天生不适合当事实的来源。让它直接"回答"数据问题,每次结果都可能不一样;让它生成受限代码、由 DuckDB 在 Parquet 上执行,同一份输入永远得到同一份输出——这就是所谓的可重放分析。出了问题,你可以回放整条链路,定位是代码错了还是数据错了,而不是面对一个玄学的模型输出。
产业逻辑很清楚:Agent 化的分析把"数据接口"从仪表盘和 BI 工具,变成了对话和代码生成。但接口之下,计算还是那个计算。Parquet 还是 Parquet,向量化的列式执行还是列式执行。变化的只是谁来发起请求、谁来解释结果。
当然,嵌入式引擎不是万能的。Peihao Yuan 给出了四个判断信号,用于决定什么时候单机 DuckDB 够用、什么时候该上托管湖仓(这一点我们在第四节展开)。
💸 存储的暗账:向量不是免费的
只算 embedding 调用费的人,账本只记了一半。
第二个场景来自博主 大Token 的一次实测。他发现一个普遍现象:建知识库做检索时,几乎所有人只算 embedding 的 API 调用费,很少有人算向量本身占多少存储。于是他用 Python 标准库纯算术,摊开算了一遍,场景设定为:100 万条文本块,每块 500 token。
OpenAI 官方文档写明,text-embedding-3-small 默认输出 1536 维。以此为基准做一层推演:一个 1536 维向量按 32 位浮点存,约 6KB;乘以 100 万条,原始向量就要 6GB 左右。如果用 16 位浮点压缩,也要 3GB 起步。而这只是裸数据——真实系统里还有索引结构、元数据、副本,实际占用通常还要再放大数倍。
| 项目 | 估算口径 | 量级 |
|---|---|---|
| 单条向量(1536维,float32) | 1536 × 4 字节 | ≈ 6KB |
| 100万条原始向量 | 6KB × 100万 | ≈ 6GB |
| 100万条原始向量(float16) | 减半存储 | ≈ 3GB |
| 加索引/元数据/副本后 | 工程实践通常放大数倍 | 数十GB级 |
(注:以上为基于 大Token 实测场景的公开口径推演,非官方数字。)
结论很直白:100 万文本块的向量库,存储成本远不止调用费。而企业级 RAG 的真实规模往往不是 100 万,是 1 亿、10 亿——账单是线性放大的。
据多位数据平台架构师私下透露,不少团队在知识库上到第二个季度后才意识到,向量库的存储和内存开销已经超过了调用费本身,"RAG 的尽头是存储账单",这句话在圈子里流传得半是玩笑、半是血泪。
产业判断:向量必须被当作一等数据资产管理——纳入容量规划、生命周期管理和成本核算,而不是当作调用 API 顺手留下的缓存。这对 Databricks、云厂商和各类向量数据库公司来说,恰恰是商业模式上的一块新增地基。
🧱 布局的官司:分区、ZOrdering 与 Liquid Clustering
湖仓工程里后果最重的决定,往往是最不起眼的那个:数据在磁盘上怎么摆。
第三个场景来自 Kushal Kumar Vishwakarma 的基准测试。他在 Delta Lake 上,把 Liquid Clustering、ZOrdering 和传统分区三种物理布局策略,放到四类不同负载下对比。他的开篇判断很重:物理数据布局是湖仓工程中影响最深远的技术决策之一。
更值得警惕的是他的发现:测试中挖出了两种未被官方文档记载的失效模式,而且作者判断,这些失效很可能正在影响今天的生产系统——也就是说,有些团队的数据查询莫名其妙变慢,根子可能就在布局选型上,而他们自己不知道。
| 策略 | 适合的负载 | 主要优点 | 主要风险 |
|---|---|---|---|
| 传统分区 | 过滤列固定、基数可控 | 简单直观、生态成熟 | 高基数列失效,分区过多反噬 |
| ZOrdering | 多维过滤的存量表 | 无需重构即可叠加 | 重建成本高,需周期性重写 |
| Liquid Clustering | 数据分布持续演变 | 增量调整、免重分区 | 存在未文档化失效模式 |
产业逻辑在于:AI 时代的数据负载变得更加多变。Agent 不像 BI 报表那样只按固定的几个维度查询——它今天按时间扫,明天按客户聚合,后天来一个谁也没预料到的即席分析。查询模式的不确定性,正在把"布局选型"从一次性决策变成持续性运维。这也是 Liquid Clustering 这类支持增量调整的策略被推到台前的根本原因:不是它技术多炫,而是静态布局扛不住动态查询。
一句话总结这一节:引擎负责算得快,布局负责"不用算那么多"。AI 把查询变得不可预测之后,后者的价值反而上升了。
🗺️ 分界线:什么时候嵌入式引擎够用?
工具没有高低贵贱,场景才分生死。
回到 Peihao Yuan 留下的那个问题:四个信号,决定你该用 DuckDB 这样的嵌入式引擎,还是该上托管湖仓。结合文章口径与行业常见实践,这四个信号可以这样读:
| 信号 | 嵌入式引擎够用 | 托管湖仓更合理 |
|---|---|---|
| 数据规模 | 单机内存/磁盘可容纳 | 多 TB、跨团队共享 |
| 并发与协作 | 少量分析师、本地复现 | 多人多 Agent 高并发读写 |
| 时效要求 | 离线批处理、T+1 可接受 | 需要近实时或流式管道 |
| 治理与合规 | 本地文件即可重放 | 需要权限、审计、血缘与共享 |
这套框架的价值不在每个格子里的答案,而在它背后的成本观:嵌入式方案的成本几乎为零,直到某一刻突然需要为规模、并发或治理付全价。很多团队的错误是在左边待太久——数据已经几 TB、十几个人在传同一个 Parquet 文件——或者在右边待太久——明明十万行数据也架了一套湖仓,为不存在的问题付基础设施的溢价。
圈子里另一句流传的话是:"先 DuckDB,后湖仓;别倒着来。" 这不是站队,是现金流管理——先用最便宜的工具验证价值,再用贵的平台承接规模。
🔭 产业判断:AI 没有消灭数据工程,只是重新定价了它
接口每便宜一分,底座就多值一分。
把三笔账放在一起看,图案其实很清晰。
第一,AI 改变的是数据接口层——从报表、SQL 控制台变成对话式 Agent,但确定性计算、可重放性和事实来源,依然必须落在 DuckDB、Parquet、湖仓这些"老基础设施"上。Databricks 们真正要防的不是被 AI 替代,而是被 AI 重新定义了价值的分配位置。
第二,AI 创造了新的存储负债。向量、中间产物、合成数据,这些 AI 原生的数据形态正在成为新的容量黑洞。谁的存储和生命周期管理做得好,谁的 AI 应用毛利就厚。
第三,负载的不可预测性把物理布局从一次性架构决策变成了持续运维。未文档化的失效模式可能正在生产系统里潜伏,这提醒所有团队:升级策略之前,先跑自己的基准。
Hive静态分区成为标配
ZOrdering多维聚簇随Delta Lake普及
Liquid Clustering进入Databricks生态
布局选型成为AI负载下的持续运维命题
往前看两年,数据团队的编制不会因为 AI 而缩小,只是岗位内容会变:写 SQL 的人少了,为 Agent 设计确定性边界、为向量库管成本、为布局做基准测试的人多了。AI 是那个插头,发电机还是你自己造的。
小结:AI 改写的是数据接口,而不是查询引擎——Agent 负责理解和表达,DuckDB 和湖仓负责产出可复现的事实。接口层每降低一分使用门槛,底层存储与布局的价值就上升一分。下一步的竞争,不在"谁的 Agent 更聪明",而在"谁的确定性底座更便宜、更可重放、更扛得住不可预测的查询"。这才是 AI 时代数据基础设施的真命题。
本文由本站 AI 辅助聚合生成,原始来源如下: