AI改不了查询引擎,改的是数据的门
Agent 正在重写数据平台的访问入口:受限 SQL、可复现分析、向量成本账本、物理布局选型,真正被 AI 改变的是数据接口而非查询引擎本身,本文用三个实战案例拆解 AI 时代数据栈的价值迁移路径。
AI改不了查询引擎,改的是数据的门
过去两年,所有人的注意力都在大模型上;过去半年,叙事悄悄变了。InfoQ 上接连出现的工程文章、微博上的向量成本实测、Delta Lake 上的布局基准测试,指向同一件事:AI 真正吃掉的是数据栈里「接口」这一层,而底下的引擎、存储、物理布局,一个都没被革命,反而变得更值钱了。
这不是概念泡沫,是三条独立证据链汇聚出的产业判断。我们一条条拆。
🚪 Agent 改写的不是引擎,是入口
金句先行:Agent 写 SQL 不是终点,能复现才是。
InfoQ 作者 Peihao Yuan 给出的是一个看似不起眼、实则极具代表性的场景:灾备分析演练。数据平台挂了,团队要在最短时间内回答「数据资产到底还剩多少、损失边界在哪」。传统做法是几个人围着 BI 报表和备份目录手动比对;新的做法是——AI Agent 读取数据目录,生成受约束的 SQL 或 Python,交给 DuckDB 直接扫 Parquet 文件算出事实,再由 Agent 去解读结果。
这篇文章最有价值的不是流程图,而是它点破了一个架构原则:确定性切分(determinism split)。
- Agent 负责的是不确定性部分:理解意图、规划路径、解读结论;
- 引擎负责的是确定性部分:同样的 SQL 打在同样的 Parquet 上,今天算和明天算,结果必须一字不差。
由此推导出「可复现分析(replayable analysis)」这个工程要求:Agent 产出的不是一段聊天记录,而是一个可以落盘、可以重放、可以审计的脚本。三个月后有人质疑结论,重跑一遍即可——这是 Agent 时代数据分析的第一性约束。据多位接近一线平台团队的人士透露,灾备演练正是目前 Agent 数据分析最先跑通的落地场景之一,因为它「答案可验证、错了能兜底」。
产业逻辑很清晰:LLM 没有取代查询引擎,它取代的是人与数据之间的那扇门。门变了,门后的屋子——列存文件、向量化执行、成本模型——原封不动,而且因为门槛降低被更频繁地敲门。
💸 被忽略的第二笔账:向量的地租
金句先行:Embedding 调用费是一次性门票,向量存储是按月收的地租。
博主「大Token」做了一件很多人懒得做的事:用 Python 3.13 标准库纯算术,把一个典型 RAG 知识库的向量存储成本摊开算了一遍。场景设定很朴素——100 万条文本块,每块 500 token。
大多数人的成本模型只算了 embedding 调用费:100 万次 API 调用,几块到几十块钱,看起来毛毛雨。但 OpenAI 官方文档写明,text-embedding-3-small 默认 1536 维,text-embedding-3-large 默认维度更高。维度决定了地租:
| 向量维度 | 单条原始大小(float32 推演) | 100 万条原始体积(推演) |
|---|---|---|
| 1536 维 | 约 6KB | 约 6GB |
| 3072 维 | 约 12KB | 约 12GB |
而这只是裸向量的地板价。生产环境里,向量数据库还要为检索性能付出索引代价——HNSW 类图索引的内存与磁盘膨胀、副本冗余、常驻内存的检索节点,实际占用通常是原始向量的数倍。再叠加运维、监控、扩容,「地租」远不止调用费。
产业逻辑在这里显形了:Agent 时代的数据接口,除了传统的表和 SQL,新增了一类一等公民——向量索引。它本质上是数据平台上长出来的一门新存储生意。调用费是厂商报表里漂亮的营收,而存储是客户侧长期、刚性、容易被低估的成本项。做数据平台选型的人,如果成本模型里还没有「向量存储」这一栏,2025 年的账大概率算不平。
私下一句流传很广的话:「向量库卖的不是算力,是内存条。」
🧱 物理布局:Agent 管不了的老大难
金句先行:AI 能替你写 SQL,替不了你决定数据怎么摆。
Kushal Kumar Vishwakarma 在 InfoQ 上发表的基准测试,盯的是湖仓工程里「最影响深远却最少被认真对待」的决策:物理数据布局。他在 Delta Lake 上对比了三种策略——Liquid Clustering、ZOrdering、传统分区——横跨四类工作负载,并挖出了两种未在官方文档中记载的失效模式,作者判断这些问题很可能正在影响今天的生产系统。
这三种策略的演进,本身就是一个值得记录的时间线:
- 早期:静态分区,按日期/地域切目录,简单粗暴,数据倾斜和高基数列是死穴;
- 2019 年前后:ZOrdering 随 Delta Lake 普及,多维聚簇缓解倾斜,但代价是重写全量文件、维护窗口昂贵;
- 近两年:Liquid Clustering 出现,增量式聚簇、灵活增删聚类键,宣称告别手工调优。
但基准测试告诉我们,「宣称告别手工调优」和「真的可以无脑上」之间隔着四类工作负载的距离。把定性差异整理成表:
| 策略 | 调优方式 | 维护成本 | 主要风险 |
|---|---|---|---|
| 静态分区 | 建表时人工选列 | 低 | 倾斜、小文件、高基数失效 |
| ZOrdering | 人工安排优化任务 | 高 | 全量重写、临时资源尖峰 |
| Liquid Clustering | 声明式聚类键 | 中 | 未文档化的失效模式、负载错配 |
产业逻辑在哪?Agent 能生成的只有逻辑层的 SQL,物理布局是逻辑层之下的隐式契约。CLUSTER BY 怎么设、分区键怎么选、ZOrder 什么时候跑——这些决策 Agent 既看不到,也不敢替你做,做错了就是全表查询性能的断崖。一位湖仓方向的架构师私下说得更直白:「Agent 时代最缺的不是会写 SQL 的人,是懂数据怎么摆的人。」
物理布局工程师的饭碗,短期内比提示词工程师稳得多。
🧭 四个信号:嵌入式还是托管湖仓
金句先行:架构选型没有信仰,只有信号。
回到 Peihao Yuan 那篇文章的第二个核心问题:什么时候一台装着 DuckDB 的机器就够了,什么时候必须上托管湖仓?文章给出了四个判断信号。结合工程实践,这套信号可以这样展开:
1. 数据体量与增长曲线:单机内存和磁盘能舒适容纳的规模,嵌入式绰绰有余;一旦逼近 TB 级且持续增长,就该考虑托管方案;
2. 并发与 SLA 要求:DuckDB 是单进程嵌入式引擎,多团队高并发、分钟级 SLA 的场景,天然指向托管湖仓;
3. 数据的更新与协作模式:只读的 Parquet 归档适合嵌入式;多人多任务持续写入、需要 ACID 和表版本管理的,是 Delta Lake 这类湖仓格式的主场;
4. 团队运维能力与全成本:自建集群省下的是订阅费,付出的是人。没有专职平台团队,自建就是负资产。
把这四条压到一张竞争格局图上,各技术路线的位置一目了然:
一个用决策因子组织起来的全景:
值得强调的产业判断是:嵌入式引擎和托管湖仓不是替代关系,而是光谱的两端。DuckDB 赢在零运维、可嵌入、灾备友好;托管湖仓赢在弹性、协作和治理。真正聪明的设计是让 Agent 可以在两端之间自由移动——今天在小数据集上用 DuckDB 原型验证,明天同一套受限 SQL 打到托管湖仓的生产表上。接口统一了,引擎就可以换。
📊 分层不会消失,只会重新画线
金句先行:AI 抬高了价值链,却没有推倒任何一层。
把三份素材叠在一起看,一条完整的产业逻辑浮现出来:
第一,价值向接口层迁移。 LLM 改变的是人与数据的交互界面——自然语言进,受限 SQL 出,可复现的分析脚本落地。这一层的工程规范(确定性切分、可重放、可审计)正在从零散实践沉淀为默认约束,先把它做规范的平台会拿到 Agent 时代的入场券。
第二,确定性内核的溢价上升。 Parquet + 向量化引擎的组合,恰恰因为其「不变」而成为整个体系里最可靠的地基。Agent 越自主,底下那层必须越死板。
第三,新的成本科目进入账本。 向量存储、索引维护、布局优化任务——这些以前不存在或被忽略的成本项,正在成为数据平台 TCO 的显性组成部分。会算这笔账的架构师,和会算这笔账的产品,都会更有竞争力。
第四,深水区的手艺依然稀缺。 物理布局、失效模式排查、选型信号判断——这些 AI 暂时碰不到的领域,是未来几年数据工程师真正的护城河。
结语
「AI 改变数据接口,而非查询引擎」——这句话值得刻在每个数据平台的架构文档首页。接口层的重构才刚刚开始,向量成本、布局选型、可复现分析这些老问题会以新面目反复出现。下一步值得盯的是:当 Agent 成为数据平台的第一公民用户,表格式、目录协议和语义层会不会围绕它重新标准化。届时,今天这些基准测试和成本实测,就是那段历史的最早注脚。