🏢 公司C档 · NaN分

AI改不了查询引擎,改的是数据的门

··约1分钟阅读

📋 总体概括

Agent 正在重写数据平台的访问入口:受限 SQL、可复现分析、向量成本账本、物理布局选型,真正被 AI 改变的是数据接口而非查询引擎本身,本文用三个实战案例拆解 AI 时代数据栈的价值迁移路径。

📄 正文

AI改不了查询引擎,改的是数据的门

过去两年,所有人的注意力都在大模型上;过去半年,叙事悄悄变了。InfoQ 上接连出现的工程文章、微博上的向量成本实测、Delta Lake 上的布局基准测试,指向同一件事:AI 真正吃掉的是数据栈里「接口」这一层,而底下的引擎、存储、物理布局,一个都没被革命,反而变得更值钱了。

这不是概念泡沫,是三条独立证据链汇聚出的产业判断。我们一条条拆。

🚪 Agent 改写的不是引擎,是入口

金句先行:Agent 写 SQL 不是终点,能复现才是。

InfoQ 作者 Peihao Yuan 给出的是一个看似不起眼、实则极具代表性的场景:灾备分析演练。数据平台挂了,团队要在最短时间内回答「数据资产到底还剩多少、损失边界在哪」。传统做法是几个人围着 BI 报表和备份目录手动比对;新的做法是——AI Agent 读取数据目录,生成受约束的 SQL 或 Python,交给 DuckDB 直接扫 Parquet 文件算出事实,再由 Agent 去解读结果。

这篇文章最有价值的不是流程图,而是它点破了一个架构原则:确定性切分(determinism split)。

  • Agent 负责的是不确定性部分:理解意图、规划路径、解读结论;
  • 引擎负责的是确定性部分:同样的 SQL 打在同样的 Parquet 上,今天算和明天算,结果必须一字不差。

由此推导出「可复现分析(replayable analysis)」这个工程要求:Agent 产出的不是一段聊天记录,而是一个可以落盘、可以重放、可以审计的脚本。三个月后有人质疑结论,重跑一遍即可——这是 Agent 时代数据分析的第一性约束。据多位接近一线平台团队的人士透露,灾备演练正是目前 Agent 数据分析最先跑通的落地场景之一,因为它「答案可验证、错了能兜底」。

产业逻辑很清晰:LLM 没有取代查询引擎,它取代的是人与数据之间的那扇门。门变了,门后的屋子——列存文件、向量化执行、成本模型——原封不动,而且因为门槛降低被更频繁地敲门。

💸 被忽略的第二笔账:向量的地租

金句先行:Embedding 调用费是一次性门票,向量存储是按月收的地租。

博主「大Token」做了一件很多人懒得做的事:用 Python 3.13 标准库纯算术,把一个典型 RAG 知识库的向量存储成本摊开算了一遍。场景设定很朴素——100 万条文本块,每块 500 token。

大多数人的成本模型只算了 embedding 调用费:100 万次 API 调用,几块到几十块钱,看起来毛毛雨。但 OpenAI 官方文档写明,text-embedding-3-small 默认 1536 维,text-embedding-3-large 默认维度更高。维度决定了地租:

向量维度单条原始大小(float32 推演)100 万条原始体积(推演)
1536 维约 6KB约 6GB
3072 维约 12KB约 12GB

而这只是裸向量的地板价。生产环境里,向量数据库还要为检索性能付出索引代价——HNSW 类图索引的内存与磁盘膨胀、副本冗余、常驻内存的检索节点,实际占用通常是原始向量的数倍。再叠加运维、监控、扩容,「地租」远不止调用费。

产业逻辑在这里显形了:Agent 时代的数据接口,除了传统的表和 SQL,新增了一类一等公民——向量索引。它本质上是数据平台上长出来的一门新存储生意。调用费是厂商报表里漂亮的营收,而存储是客户侧长期、刚性、容易被低估的成本项。做数据平台选型的人,如果成本模型里还没有「向量存储」这一栏,2025 年的账大概率算不平。

私下一句流传很广的话:「向量库卖的不是算力,是内存条。」

🧱 物理布局:Agent 管不了的老大难

金句先行:AI 能替你写 SQL,替不了你决定数据怎么摆。

Kushal Kumar Vishwakarma 在 InfoQ 上发表的基准测试,盯的是湖仓工程里「最影响深远却最少被认真对待」的决策:物理数据布局。他在 Delta Lake 上对比了三种策略——Liquid Clustering、ZOrdering、传统分区——横跨四类工作负载,并挖出了两种未在官方文档中记载的失效模式,作者判断这些问题很可能正在影响今天的生产系统。

这三种策略的演进,本身就是一个值得记录的时间线:

  • 早期:静态分区,按日期/地域切目录,简单粗暴,数据倾斜和高基数列是死穴;
  • 2019 年前后:ZOrdering 随 Delta Lake 普及,多维聚簇缓解倾斜,但代价是重写全量文件、维护窗口昂贵;
  • 近两年:Liquid Clustering 出现,增量式聚簇、灵活增删聚类键,宣称告别手工调优。

但基准测试告诉我们,「宣称告别手工调优」和「真的可以无脑上」之间隔着四类工作负载的距离。把定性差异整理成表:

策略调优方式维护成本主要风险
静态分区建表时人工选列低倾斜、小文件、高基数失效
ZOrdering人工安排优化任务高全量重写、临时资源尖峰
Liquid Clustering声明式聚类键中未文档化的失效模式、负载错配

产业逻辑在哪?Agent 能生成的只有逻辑层的 SQL,物理布局是逻辑层之下的隐式契约。CLUSTER BY 怎么设、分区键怎么选、ZOrder 什么时候跑——这些决策 Agent 既看不到,也不敢替你做,做错了就是全表查询性能的断崖。一位湖仓方向的架构师私下说得更直白:「Agent 时代最缺的不是会写 SQL 的人,是懂数据怎么摆的人。」

物理布局工程师的饭碗,短期内比提示词工程师稳得多。

AI时代的真实痛点与解法
痛点 1
Agent输出不确定性污染数据结论
→
解法
确定性切分:Agent只产受限SQL与解读,引擎负责可复现计算
痛点 2
只算embedding调用费,忽略向量存储月租
→
解法
把向量索引纳入平台成本模型,按维度与索引膨胀估算
痛点 3
物理布局选错,查询大面积劣化
→
解法
按工作负载选型:分区、ZOrdering或Liquid Clustering
痛点 4
嵌入式与托管湖仓边界模糊
→
解法
用体量、并发、更新频率、运维能力四个信号做决策

🧭 四个信号:嵌入式还是托管湖仓

金句先行:架构选型没有信仰,只有信号。

回到 Peihao Yuan 那篇文章的第二个核心问题:什么时候一台装着 DuckDB 的机器就够了,什么时候必须上托管湖仓?文章给出了四个判断信号。结合工程实践,这套信号可以这样展开:

1. 数据体量与增长曲线:单机内存和磁盘能舒适容纳的规模,嵌入式绰绰有余;一旦逼近 TB 级且持续增长,就该考虑托管方案;

2. 并发与 SLA 要求:DuckDB 是单进程嵌入式引擎,多团队高并发、分钟级 SLA 的场景,天然指向托管湖仓;

3. 数据的更新与协作模式:只读的 Parquet 归档适合嵌入式;多人多任务持续写入、需要 ACID 和表版本管理的,是 Delta Lake 这类湖仓格式的主场;

4. 团队运维能力与全成本:自建集群省下的是订阅费,付出的是人。没有专职平台团队,自建就是负资产。

把这四条压到一张竞争格局图上,各技术路线的位置一目了然:

一个用决策因子组织起来的全景:

值得强调的产业判断是:嵌入式引擎和托管湖仓不是替代关系,而是光谱的两端。DuckDB 赢在零运维、可嵌入、灾备友好;托管湖仓赢在弹性、协作和治理。真正聪明的设计是让 Agent 可以在两端之间自由移动——今天在小数据集上用 DuckDB 原型验证,明天同一套受限 SQL 打到托管湖仓的生产表上。接口统一了,引擎就可以换。

📊 分层不会消失,只会重新画线

金句先行:AI 抬高了价值链,却没有推倒任何一层。

把三份素材叠在一起看,一条完整的产业逻辑浮现出来:

第一,价值向接口层迁移。 LLM 改变的是人与数据的交互界面——自然语言进,受限 SQL 出,可复现的分析脚本落地。这一层的工程规范(确定性切分、可重放、可审计)正在从零散实践沉淀为默认约束,先把它做规范的平台会拿到 Agent 时代的入场券。

第二,确定性内核的溢价上升。 Parquet + 向量化引擎的组合,恰恰因为其「不变」而成为整个体系里最可靠的地基。Agent 越自主,底下那层必须越死板。

第三,新的成本科目进入账本。 向量存储、索引维护、布局优化任务——这些以前不存在或被忽略的成本项,正在成为数据平台 TCO 的显性组成部分。会算这笔账的架构师,和会算这笔账的产品,都会更有竞争力。

第四,深水区的手艺依然稀缺。 物理布局、失效模式排查、选型信号判断——这些 AI 暂时碰不到的领域,是未来几年数据工程师真正的护城河。

结语

「AI 改变数据接口,而非查询引擎」——这句话值得刻在每个数据平台的架构文档首页。接口层的重构才刚刚开始,向量成本、布局选型、可复现分析这些老问题会以新面目反复出现。下一步值得盯的是:当 Agent 成为数据平台的第一公民用户,表格式、目录协议和语义层会不会围绕它重新标准化。届时,今天这些基准测试和成本实测,就是那段历史的最早注脚。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)