AI 重构数据栈?先算清三笔账
AI 确实在改写数据栈,但改的是接口,不是内核。本文从 AI 代理+DuckDB 的确定性拆分、100 万文本块的向量存储账单、Delta Lake 三种物理布局实测三个切口算账:模型层负责灵活,引擎层负责确定,存储层负责便宜,选型前先算清隐性成本。
每个人都在喊 AI 改写数据栈,但翻开最近的工程实践会发现:真正被改写的只有入口——查询不再由人写,而由模型生成。计算内核、存储账单、物理布局,这三笔账一分钱都没少,只是换了个地方疼。本文从三个真实切口算一算。
💡 AI 改的是接口,不是引擎
最确定的事,永远不该交给最不确定的组件。
InfoQ 上 Peihao Yuan 描述了一个很有代表性的灾备分析工作流:分析师用自然语言提问,AI代理 生成受约束的 SQL 或 Python 脚本,DuckDB 从 Parquet 文件中计算出可复现的事实,代理再对结果做解读和汇报。
这套流程的核心是一个「确定性拆分」:把不确定的部分——写查询、解读结果——交给大模型;把确定的部分——计算、聚合、排序——交给传统引擎。LLM 的随机性被隔离在解读层,任何一次分析都可以用同样的数据、同样的引擎、同样的代码完整重放。
这就是所谓「可重放分析」的工程价值。原因不难理解:模型每次生成的 SQL 可能不同,执行路径可能不同,浮点聚合顺序都可能不同——同一个问题今天和明天算出两个数,在业务方眼里就是数据平台不可信。而可重放性恰好是传统引擎早已提供、只是从未被当成卖点的旧能力。AI 分析功能能不能在企业内部落地,第一道门槛不是模型能力,而是分析结果能否被审计和复现。
产业逻辑很清楚:接口从「人写 SQL」变成「模型生成 SQL」,但 SQL 还是跑在那几个执行器上。AI 没有推翻数据工程,它只是把数据工程的成品换了一种交付方式。
🧾 向量的账单,藏在调用费后面
最贵的成本,往往是你没算过的那一项。
做 RAG 的人习惯只算 embedding 调用费,很少有人算向量本身占多少地方。博主 大Token 用 Python 3.13 标准库写了个纯算术脚本,把账摊开了算:场景是 100 万条文本块,每块 500 token。OpenAI 官方文档写明,text-embedding-3-small 默认 1536 维,text-embedding-3-large 默认 3072 维。
按 float32 存储做纯算术推演,账目大致如下:
| 模型 | 默认维度 | 单条向量体积 | 100万条裸数据 |
|---|---|---|---|
| text-embedding-3-small | 1536 | 约 6.1 KB | 约 6.1 GB |
| text-embedding-3-large | 3072 | 约 12.2 KB | 约 12.2 GB |
注意,这只是裸数据的下限。工程实践中,实际占用可以按一组常见的经验系数逐项叠加推演:
| 占用项 | 经验系数 | 说明 |
|---|---|---|
| HNSW 图索引结构 | ×1.5~2.0 | 邻接表与层级连接常驻内存,向量越多、参数 M 越大,系数越靠近上限 |
| 元数据与 ID 映射 | ×1.1 左右 | chunk ID、过滤字段、时间戳等随行存储 |
| 删除与更新碎片 | ×1.1~1.3 | 向量库的墓碑记录与重建间隙 |
| 副本冗余 | ×2(单副本)~×3(双副本) | 高可用部署的标配 |
几项相乘,实际内存占用通常是裸数据的 3~6 倍。也就是说,上表中 12.2 GB 的裸数据,生产环境里真实常驻内存可能在 40~70 GB 量级——这已经是一台不小的内存型实例,而且是每月持续缴纳的房租。更关键的是成本的时间属性:embedding 调用费是一次性的,存储和内存却按月计费且不随使用量波动——知识库越大,房租越重,哪怕整月没有人查询一次。
顺着这笔账推演,POC 阶段的预算模型天然会失真:POC 通常只灌几千到几万条数据,向量存储费可以忽略不计,预算表上只剩模型调用费;一旦上生产,数据量涨两个数量级,持续性的存储与内存账单就会从「零」变成大头。超预期不是执行失误,而是预算模型从第一天就漏了这一项。
产业判断就一句话:选 embedding 模型时,维度即成本。 降维、量化、按需检索,往往比换一个更便宜的模型更能省钱。数据基础设施的每一次演进,最后都是一笔存储账。
🧱 引擎再聪明,也救不了糟糕的布局
AI 能帮你写查询,不能替你扫数据。
湖仓工程师最怕的场景:周五晚上被叫去查「为什么这条查询扫了全表」。答案往往不在 SQL 写得好不好,而在数据在磁盘上怎么摆。
Kushal Kumar Vishwakarma 在 InfoQ 发文,在 Delta Lake 上把 Liquid Clustering、ZOrdering 和传统分区三种布局策略,跨四类工作负载做了基准对比,结论之外还挖出了两个未写入官方文档的失败模式——很可能此刻正在某些生产系统里悄悄发生。
这张图背后是一个朴素的分工:传统分区门槛低、直觉强,但面对高基数、多维过滤的负载容易失灵;ZOrdering 换来了多维裁剪,代价是重写成本高、增量维护痛苦;Liquid Clustering 试图用增量式聚类兼得两者,但它有自己的隐性失败模式,官方文档还没来得及写清楚。
产业逻辑在于:物理数据布局是湖仓工程里后果最重的决定之一,选错了,之后每一条查询都在为 I/O 买单。而 AI 生成 SQL 这件事,恰恰放大了布局的重要性——当业务方可以随手发出十条查询时,谁在为底下的扫描成本兜底?
🚦 四个信号,决定你该不该上湖仓
嵌入式引擎够用的时候上托管湖仓,是浪费;反之,是灾难。
Peihao Yuan 在那篇文章里给出了四个信号,用于判断嵌入式引擎(如 DuckDB)何时已足够、何时值得为托管湖仓付钱。结合行业实践推演,这四个信号大致指向:
把这四个信号和前面三笔账对齐看,会发现它们指向同一个判断框架:
- 规模账:单机内存和磁盘是嵌入式引擎的天花板,对照第二部分那笔向量存储账,摸到天花板的日期其实可以算出来;
- 并发账:一个人跑的分析和一百个人跑的分析,是两种完全不同的工程问题,AI 生成 SQL 恰恰会加速触达这个临界点;
- 治理账:血缘、权限、审计,这些是托管湖仓真正的溢价所在,也是可重放分析(第一部分)能否规模化落地的地基;
- 迁移账:物理布局(第三部分)决定了搬迁的痛苦程度——布局选得越重,回头越难。
🧮 结语:三笔账,一个共识
回到开头的判断:AI 改写的只有入口。接口层的革命越是热闹,底下的三笔旧账就越是刺眼——
1. 可重放性不是新需求,只是 AI 把它从后台要求推到了台前;
2. 向量存储不是新成本,只是它第一次以「按维度计价」的方式出现在预算表上;
3. 物理布局不是新学问,只是 AI 生成查询的洪流让它从优化项变成了生存项。
对工程团队的启示就一条:在拥抱新入口之前,先把旧账算清楚。 模型可以换、代理可以换、查询可以重新生成,但存储账单和磁盘上的字节布局,是签了字就要按月付的。AI 时代的数据工程,赢家的入场券不是最强的模型,而是最诚实的账本。