湖仓与存储数据库Data for AI评论分析· 3832 字· 约7分钟阅读

AI 重构数据栈?先算清三笔账

A
AI编辑团队AI 原创内容
2026-11-07 04:25 发布· 本文由作者与AI协作完成
本内容由人工智能生成,仅供研究参考,不构成投资建议。
💡

AI 确实在改写数据栈,但改的是接口,不是内核。本文从 AI 代理+DuckDB 的确定性拆分、100 万文本块的向量存储账单、Delta Lake 三种物理布局实测三个切口算账:模型层负责灵活,引擎层负责确定,存储层负责便宜,选型前先算清隐性成本。

每个人都在喊 AI 改写数据栈,但翻开最近的工程实践会发现:真正被改写的只有入口——查询不再由人写,而由模型生成。计算内核、存储账单、物理布局,这三笔账一分钱都没少,只是换了个地方疼。本文从三个真实切口算一算。

💡 AI 改的是接口,不是引擎

最确定的事,永远不该交给最不确定的组件。

InfoQ 上 Peihao Yuan 描述了一个很有代表性的灾备分析工作流:分析师用自然语言提问,AI代理 生成受约束的 SQL 或 Python 脚本,DuckDB 从 Parquet 文件中计算出可复现的事实,代理再对结果做解读和汇报。

这套流程的核心是一个「确定性拆分」:把不确定的部分——写查询、解读结果——交给大模型;把确定的部分——计算、聚合、排序——交给传统引擎。LLM 的随机性被隔离在解读层,任何一次分析都可以用同样的数据、同样的引擎、同样的代码完整重放。

这就是所谓「可重放分析」的工程价值。原因不难理解:模型每次生成的 SQL 可能不同,执行路径可能不同,浮点聚合顺序都可能不同——同一个问题今天和明天算出两个数,在业务方眼里就是数据平台不可信。而可重放性恰好是传统引擎早已提供、只是从未被当成卖点的旧能力。AI 分析功能能不能在企业内部落地,第一道门槛不是模型能力,而是分析结果能否被审计和复现。

产业逻辑很清楚:接口从「人写 SQL」变成「模型生成 SQL」,但 SQL 还是跑在那几个执行器上。AI 没有推翻数据工程,它只是把数据工程的成品换了一种交付方式。

🧾 向量的账单,藏在调用费后面

最贵的成本,往往是你没算过的那一项。

做 RAG 的人习惯只算 embedding 调用费,很少有人算向量本身占多少地方。博主 大Token 用 Python 3.13 标准库写了个纯算术脚本,把账摊开了算:场景是 100 万条文本块,每块 500 token。OpenAI 官方文档写明,text-embedding-3-small 默认 1536 维,text-embedding-3-large 默认 3072 维。

按 float32 存储做纯算术推演,账目大致如下:

模型默认维度单条向量体积100万条裸数据
text-embedding-3-small1536约 6.1 KB约 6.1 GB
text-embedding-3-large3072约 12.2 KB约 12.2 GB

注意,这只是裸数据的下限。工程实践中,实际占用可以按一组常见的经验系数逐项叠加推演:

占用项经验系数说明
HNSW 图索引结构×1.5~2.0邻接表与层级连接常驻内存,向量越多、参数 M 越大,系数越靠近上限
元数据与 ID 映射×1.1 左右chunk ID、过滤字段、时间戳等随行存储
删除与更新碎片×1.1~1.3向量库的墓碑记录与重建间隙
副本冗余×2(单副本)~×3(双副本)高可用部署的标配

几项相乘,实际内存占用通常是裸数据的 3~6 倍。也就是说,上表中 12.2 GB 的裸数据,生产环境里真实常驻内存可能在 40~70 GB 量级——这已经是一台不小的内存型实例,而且是每月持续缴纳的房租。更关键的是成本的时间属性:embedding 调用费是一次性的,存储和内存却按月计费且不随使用量波动——知识库越大,房租越重,哪怕整月没有人查询一次。

顺着这笔账推演,POC 阶段的预算模型天然会失真:POC 通常只灌几千到几万条数据,向量存储费可以忽略不计,预算表上只剩模型调用费;一旦上生产,数据量涨两个数量级,持续性的存储与内存账单就会从「零」变成大头。超预期不是执行失误,而是预算模型从第一天就漏了这一项。

产业判断就一句话:选 embedding 模型时,维度即成本。 降维、量化、按需检索,往往比换一个更便宜的模型更能省钱。数据基础设施的每一次演进,最后都是一笔存储账。

🧱 引擎再聪明,也救不了糟糕的布局

AI 能帮你写查询,不能替你扫数据。

湖仓工程师最怕的场景:周五晚上被叫去查「为什么这条查询扫了全表」。答案往往不在 SQL 写得好不好,而在数据在磁盘上怎么摆。

Kushal Kumar Vishwakarma 在 InfoQ 发文,在 Delta Lake 上把 Liquid Clustering、ZOrdering 和传统分区三种布局策略,跨四类工作负载做了基准对比,结论之外还挖出了两个未写入官方文档的失败模式——很可能此刻正在某些生产系统里悄悄发生。

这张图背后是一个朴素的分工:传统分区门槛低、直觉强,但面对高基数、多维过滤的负载容易失灵;ZOrdering 换来了多维裁剪,代价是重写成本高、增量维护痛苦;Liquid Clustering 试图用增量式聚类兼得两者,但它有自己的隐性失败模式,官方文档还没来得及写清楚。

产业逻辑在于:物理数据布局是湖仓工程里后果最重的决定之一,选错了,之后每一条查询都在为 I/O 买单。而 AI 生成 SQL 这件事,恰恰放大了布局的重要性——当业务方可以随手发出十条查询时,谁在为底下的扫描成本兜底?

🚦 四个信号,决定你该不该上湖仓

嵌入式引擎够用的时候上托管湖仓,是浪费;反之,是灾难。

Peihao Yuan 在那篇文章里给出了四个信号,用于判断嵌入式引擎(如 DuckDB)何时已足够、何时值得为托管湖仓付钱。结合行业实践推演,这四个信号大致指向:

嵌入引擎还是托管湖仓
痛点 1
数据单机装得下、分析一个人跑
→
解法
嵌入式引擎足够,别为用不到的规模付费
痛点 2
多团队并发读写、需要服务化接入
→
解法
上托管湖仓,换取并发控制与服务隔离
痛点 3
需要血缘、权限、审计等团队级治理
→
解法
上托管湖仓,治理能力是买来的,不是攒出来的
痛点 4
数据量持续增长、SLA 要求随业务上升
→
解法
尽早迁移,越晚切换,历史数据的搬迁成本越高

把这四个信号和前面三笔账对齐看,会发现它们指向同一个判断框架:

  • 规模账:单机内存和磁盘是嵌入式引擎的天花板,对照第二部分那笔向量存储账,摸到天花板的日期其实可以算出来;
  • 并发账:一个人跑的分析和一百个人跑的分析,是两种完全不同的工程问题,AI 生成 SQL 恰恰会加速触达这个临界点;
  • 治理账:血缘、权限、审计,这些是托管湖仓真正的溢价所在,也是可重放分析(第一部分)能否规模化落地的地基;
  • 迁移账:物理布局(第三部分)决定了搬迁的痛苦程度——布局选得越重,回头越难。

🧮 结语:三笔账,一个共识

回到开头的判断:AI 改写的只有入口。接口层的革命越是热闹,底下的三笔旧账就越是刺眼——

1. 可重放性不是新需求,只是 AI 把它从后台要求推到了台前;

2. 向量存储不是新成本,只是它第一次以「按维度计价」的方式出现在预算表上;

3. 物理布局不是新学问,只是 AI 生成查询的洪流让它从优化项变成了生存项。

对工程团队的启示就一条:在拥抱新入口之前,先把旧账算清楚。 模型可以换、代理可以换、查询可以重新生成,但存储账单和磁盘上的字节布局,是签了字就要按月付的。AI 时代的数据工程,赢家的入场券不是最强的模型,而是最诚实的账本。