湖仓与存储AI for Data数据库评论分析· 4058 字· 约7分钟阅读

AI只换了数据门面,没换发动机

A
AI编辑团队AI 原创内容
2026-11-10 06:24 发布· 本文由作者与AI协作完成
本内容由人工智能生成,仅供研究参考,不构成投资建议。
💡

Agent生成SQL、DuckDB算数、向量成本远超调用费、Liquid Clustering成湖仓布局新变量——三件事指向同一个判断:AI改变的是数据接口层,而非查询引擎。本文拆解确定性分工、向量存储的真实账本与布局策略选型框架。

RAG 概念讲了两年,向量库融资了一轮又一轮,但真正决定一个 AI 数据应用成败的,往往不是那个最时髦的组件。

把最近三件不太相关的事放在一起看,结论反而清晰了:Peihao Yuan 拆解了一个 AI 代理驱动灾备分析的工作流;一位博主实打实算了一遍 100 万文本块向量的存储成本;Kushal Kumar Vishwakarma 在 Delta Lake 上把三种数据布局策略跑了个遍。三件事指向同一个判断——AI 改变的是数据接口,不是查询引擎。门面换了,发动机还是那几台。

🤖 AI 负责说,引擎负责算

最值得琢磨的是一个灾备演练场景。

分析师对 AI 代理说:帮我把最近一个季度的恢复指标拉出来。代理生成一段受约束的 SQL 或 Python,丢给 DuckDB;DuckDB 从 Parquet 文件里算出一组可复现的事实;结果再回传给代理,由它来解读、汇报。整个链路里,AI 只出现在两端——理解需求,解释结果。中间那一步「算」,完全交给了确定性引擎。

这个拆法被作者称为「确定性分工」:LLM 的输出是不确定的,同一句话问十遍可能得到十种表述,但灾备分析要的是可审计、可回放的数字。怎么办?把不确定的环节和确定的环节切开。

这背后其实是一种很工程化的克制。业内最近私下传的一句话是:别让大模型碰你的算术,让它碰你的措辞。DuckDB 这种嵌入式引擎之所以突然成了 AI 时代的新宠,恰恰因为它便宜、快、单机就能跑,且从 Parquet 读数的结果是逐字节可复现的。分析变成「回放一段脚本」,出了问题可以逐步复现——这在合规和审计场景里是刚需。

产业逻辑也很直白:AI 时代数据团队的护城河,不在于谁接了大模型,而在于谁能保证「AI 说出来的数,跟账上对得上」。接口层可以天天变,计算层的确定性是底线。

💸 最贵的不是 embedding,是向量住的「房子」

第二个故事更扎心,来自微博博主 大Token 的一次实测。

做知识库做检索的人,汇报成本时张口就是 embedding 调用费——按 token 计价,好像很便宜。但很少有人算另一笔账:向量本身占多少地方。

他用 Python 3.13 标准库纯算术摊了一遍:场景是 100 万条文本块、每块 500 token。OpenAI 官方文档写明,text-embedding-3-small 默认 1536 维,text-embedding-3-large 维度更高。做个纯算术推算:100 万条 × 1536 维 × 4 字节(float32),仅向量本体就接近 6 GB;换大模型、换更高维度,数字直接翻倍往上走。这还没算索引结构、副本、元数据——生产环境里,索引膨胀和多副本往往让实际占用再翻几倍。

成本项容易被看到容易被忽略
embedding 调用费✅ 按次计价,一眼可见批量重跑时的重复花费
向量本体存储❌维度×条数×字节数,线性膨胀
索引结构❌HNSW 类索引常比原始向量更占空间
副本与元数据❌高可用架构下成倍放大

把这笔账画成一张问题-方案卡,就是很多团队的真实踩坑路径:

向量存储的成本真相
痛点 1
预算只算embedding调用费
→
解法
把存储、索引、副本一并纳入成本模型
痛点 2
高维向量线性膨胀
→
解法
按需选模型与维度,避免无脑上大模型
痛点 3
索引膨胀上线后才暴露
→
解法
用真实规模提前压测存储占用
痛点 4
全量文本无差别向量化
→
解法
先过滤再入库,分层检索降低向量量级

这事的产业含义比账本本身更重要:向量是 AI 时代的新数据类型,而新数据类型的存储成本,永远比调用成本更长期。调用费是一次性的,向量是要一直「住」在那里的。数据基础设施厂商的机会也在这里——谁能把向量的存储、索引、生命周期管理做扎实,谁就吃到了 AI 给存储层带来的真实增量,而不是蹭到概念。

🧱 数据摆什么姿势,比用什么引擎更要命

第三个故事来自湖仓内部。Kushal Kumar Vishwakarma 在 Delta Lake 上做了一个少有人认真做的对比:物理数据布局策略。

作者的原话很重:物理布局是湖仓工程里「后果最重的决策之一」。他把分区(Partitioning)、ZOrdering 和 Liquid Clustering 三种策略,放在四种典型负载上跑基准,结论不是简单的谁赢谁输,而是各有明确的适用边界——并且发现了两种未公开记录的失效模式,很可能此刻正发生在生产系统里。

策略核心思路适合的负载主要短板
分区 Partitioning按列值做静态目录切分过滤列稳定的经典场景分区键选错就碎,小文件泛滥
ZOrdering多维聚簇重排数据多列联合过滤全量重写,维护成本高
Liquid Clustering弹性聚簇,随写入增量调整查询模式多变的增量负载新机制,边界条件尚在摸底

布局技术的演进本身就是一部湖仓史:

分区时代

Hive式静态目录切分

聚簇时代

ZOrdering多维重排

弹性时代

Liquid Clustering增量布局

那两种「未公开记录的失效模式」尤其值得警惕。数据布局的坑有个共同特点:性能问题是慢慢长出来的。今天查询 30 秒,三个月后变成 5 分钟,没人改过代码,只是数据长歪了。而布局决策做错之后的修复,往往意味着大规模数据重写——这是湖仓里最贵的一种返工。

在 AI 应用大举往湖仓上跑的当下,这件事被放大了:agent 生成查询是随机的、探索性的,查询模式比人写的 BI 报表更不可预测。数据怎么摆,直接决定 AI 的查询是秒级返回还是超时告警。接口越智能,底层布局越不能糊弄。

🗺️ 嵌入还是托管?看四个信号

把三件事收拢,回到那个最实际的问题:数据到底放哪、用什么算?

Peihao Yuan 的文章给出了一个判断框架:什么时候嵌入式引擎(比如 DuckDB 直接读 Parquet)就够了,什么时候值得上托管湖仓。综合其思路,信号大致落在四个维度上:数据规模、并发压力、时效要求、治理需求。规模小、单机可算、重可复现,嵌入引擎是性价比之王;数据大了、多人并发了、要增量更新和跨团队共享了,托管湖仓的布局优化和弹性才值回票价。

放到一张定位图上看更清楚:

有意思的是这个矩阵里没有输家。嵌入式引擎吃下了 AI 代理驱动的「个人规模分析」场景——一个 agent、一个脚本、一叠 Parquet,跑完就走;托管湖仓吃下了企业级的重负载和重治理场景。真正的输家是中间那些定位模糊的方案:既没有嵌入引擎的轻,也没有湖仓的治理,纯属架构冲动。

一位做过湖仓迁移的架构师私下说过类似的话:新引擎救不了歪的数据,新接口也救不了错的架构。向量库要不要单独买、湖仓要不要上 Liquid Clustering、agent 要不要直连生产库——这些问题没有标准答案,但有共同的判断起点:先算清楚数据的规模、成本和访问模式,再谈概念。

AI 时代数据工程的正确姿势,可能就是素材里这三个故事的合体:用 agent 换掉人机接口,用确定性引擎守住计算底线,用真实的成本账本和布局策略托住底下那层不变的地基。

写在最后

回头看,这三件事分别戳破了三个流行叙事:AI 不是来取代查询引擎的,它只是重新分配了「谁说话、谁算数」;向量不是便宜的魔法,它是需要认真规划存储预算的新数据类型;湖仓不是建好就完事,布局策略会持续决定系统的好坏。

接口层的喧哗还会继续——今天是最新的 agent 框架,明天是别的。但底下那几层:Parquet 怎么摆、向量占几个 G、DuckDB 算出来的数能不能回放,才是数据团队真正的胜负手。技术的潮水涨落之间,活下来的从来都是把地基打牢的人。下一次有人拿着炫酷的 AI 数据 Demo 来找你,不妨先问一句:向量存哪了,布局怎么定的,结果能回放吗?