湖仓与存储Data for AI数据库评论分析· 6917 字· 约12分钟阅读

AI一来,湖仓正在被重做一遍

A
AI编辑团队AI 原创内容
2026-11-12 18:25 发布· 本文由作者与AI协作完成
本内容由人工智能生成,仅供研究参考,不构成投资建议。
💡

Iceberg v4把非结构化文件写进表规范,Databricks给向量检索算了一笔精确到毫秒和美元的成本账,阿里云给出Agent时代的完整链路构想。三条线索指向同一件事:AI数据正在成为开放湖仓的一等公民,底层规范、检索引擎与语义层都在被重写。

AI一来,湖仓正在被重做一遍

一周之内,三件事同时发生:Apache Iceberg 社区投票通过,把 File 类型写进 v4 规范,让图片、PDF、音频可以直接躺在表列里;Databricks 发了一篇工程实测,把向量检索的成本精确到“0.5 CU 每月 31~40 美元”这个粒度;阿里云 则把 Agent 时代的数据基础设施拆成了从采集到语义的完整五段链路。

三件事分属开源社区、商业厂商和云巨头三个不同的世界,但指向同一个判断:AI 数据——向量、嵌入、非结构化文件、语义模型——正在从湖仓的“外挂”变成“正席”。 过去十年湖仓解决的是“结构化数据放得下、算得快”,接下来要回答的是“AI 的数据胃口怎么喂”。

这篇文章把这三条线索拆开看,看看湖仓到底在怎么被重做。

🧊 Iceberg v4:文件终于进了表

先看最基础的规范层。10 月中旬的 Community Over Code 格拉斯哥大会刚散场,Iceberg dev 邮件列表上的讨论就接上了线上的热度。

最大的成果,是 Talat Uyarer 发起的 FILE 类型工作组投票正式通过:8 个 binding +1(来自 Steven Wu、Péter Váry、Daniel Weeks、Gang Wu、Sung Yun、Amogh Jahagirdar、Yufei Gu 和 Russell Spitzer),外加 19 个非绑定 +1(投票全文见 dev 邮件列表存档中标题为 "[VOTE] FILE type" 的线程)。这个数字在 Apache 社区不算小动议——要知道,改一个表规范的核心类型定义,意味着所有下游引擎都要跟上。

新类型的设计思路很务实:存储一段字节,可以内联,也可以作为外部对象的引用,并固定了五个子字段——URI、offset、size、content type 和 checksum。它对齐了 Parquet 的 FILE 逻辑类型(Parquet 格式定义)。翻译成人话:一张表的一列,从此可以装下一张图、一份 PDF、一段音频,并且带着真实的元数据和统计信息。

这不是炫技。RAG 场景里最常见的形态就是“一段文本对应一份原始文档”,过去要么把文件元数据拆散在好几张表里手工对齐,要么干脆把文件排除在表管理之外,靠约定俗成的目录结构硬扛。现在,规范给了它一个正式的名分。

但 dissent 也在。Kurtis Wright 在投票邮件中投了 +0,理由白纸黑字写在列表里:维护作业需要一个信号——文件被更新或删除时,下游的索引、缓存、派生数据得知道这件事。这个 +0 背后的分歧,其实可以在公开讨论里找到更深的脉络:FILE 类型提案(GitHub Issues 区标题为 "[PROPOSAL] File-based types" 的原始讨论)从立项起,就反复出现“文件本体归谁管”的交锋——文件进表之后,表维护的语义到底管不管文件本体? 这是个规范没说完、但迟早要还的债。

更微妙的是另一个问题。同一周,Apache Polaris 社区(仓库及讨论区)在争论:当这些文件坐在 catalog 背后,文件的所有权归谁?是归表、归 catalog,还是归底下的对象存储?这个问题在纯结构化时代几乎不存在——数据就是表的数据。但在“文件可被多个表引用、可被 Agent 直接取用”的时代,所有权边界直接决定了权限模型、计费方式和血缘追踪能不能成立。

产业逻辑很清晰:规范先行,是开源湖仓对 AI 时代的第一步卡位。 谁的类型定义先稳定,谁的生态就能围绕它长出来。

📊 Databricks把向量检索算到毫秒和美元

规范是地基,地基之上,厂商开始算细账。

10 月 15 日,Databricks 在官方博客发布了工程实测文章《Sizing Lakebase Search: Lessons from a Real App and 4 Million Passages》,测试对象是其 Lakebase Postgres,数据集来自公司内部应用 Slide Hub 和公开的 MIRACL 英文数据集,规模达到 400 万 passages。

实测结论有两个关键数字(均出自上述博客原文):热向量查询最低 4 毫秒;0.5 CU 每月 31~40 美元可作生产基线。

这两个数字的分量,圈外人可能感受不到。过去两年,“向量检索”这个词被专用向量数据库讲得天花乱坠,但一问成本,多数团队只能含糊地说“看规模”。直到有人拿着一个真实的内部应用、一套公开的评测集,把容量规划拆到“0.5 个计算单元一个月多少钱、能扛什么查询”的粒度,这件事才从 PPT 变成工程。

而且注意关键词:混合检索。不是纯向量,是向量加关键词的混合模式跑在 Postgres 上。这背后的信号是——检索这件事正在从“独立的向量数据库产品”回到“数据库的一个能力”。就像十年前全文检索从独立搜索引擎下沉到数据库一样,向量正在经历同样的下沉。

为什么不追求极致的亚毫秒延迟?因为 RAG 的场景里,4 毫秒的热查询配合 LLM 生成动辄秒级的响应,检索早已不是瓶颈。工程师真正关心的不是快到极限,而是“够快且买得起”。 把 31~40 美元这个数字印在博客上,本质是在对市场说:你不需要为一个 POC 级的检索需求单独养一套基础设施。

这类带着真实查询分布和数据规模的实测文章,参考价值高于刷榜式 benchmark——这不是某个工程师的私房话,检索评测学术界对此早有公开结论:BEIR 论文(Thakur et al., 2021)系统性地指出,检索系统在榜单上的排名与其零样本泛化能力常常不一致,“挑最好看的数字”是评测体系的结构性问题。

产业逻辑同样清晰:AI 负载的竞争,正在从“有没有”进入“多少钱”的阶段。 规范解决数据进得来,成本解决数据用得起。

🗺️ 链路之争:Agent要的不是湖,是全程

如果说前两条线索是点,阿里云 的表述则试图连成线(以下表述依据阿里云 OpenLake 官方产品页及云栖大会期间的公开发布材料)。

Agent 时代,数据基础设施的完整链路是什么?阿里云给出的答案是五段:

每一段都对应一个具体的判断。采集与接入端,OpenLake 全模态湖仓强调“一份数据多引擎平权计算”——数据只存一份,Spark、Flink、向量引擎各取所需,不做多份拷贝。清洗与转换端,Agent-Ready 数据管线提出了一个更激进的演进方向:数据管线从“人构建”走向“Agent 自主构建”。

存储与治理端,ApsaraLakebase 的口号是“湖库同源,数据放得下、放得起、醒得快”——这三个“得”字值得展开:放得下是容量,放得起是成本,醒得快是检索延迟。你会发现,这正是 Databricks 用 4 毫秒和 31~40 美元在回答的同一个问题,只是从云厂商的架构视角重述了一遍。

最值得琢磨的是语义层。阿里云的表述是“业务语义本体+知识图谱,从记忆到知识是可控的”。这句话点破了 Agent 落地的真痛点:Agent 光有检索(记忆)不够,还要有结构化的知识才能稳定输出。而“可控”二字,是对眼下 Agent 幻觉问题的直接回应——语义层不是锦上添花,是 Agent 生产可用的前提。

把三条线索放在一起看,各自的站位其实并不难推断,但需要一条条说清楚依据,而不是拍脑袋画一张四象限图:

  • Apache Iceberg 站在开放生态的一端——它是 Apache 基金会项目,规范公开在官网,任何引擎都可以实现,因此“开放性”这项分数最高;但它的 AI 负载纵深取决于下游引擎的跟进速度,目前 File 类型刚进规范,落地还在早期。
  • Databricks Lakebase 是封闭生态里纵深最强的一支——产品能力(混合检索、容量规划)已经打磨到能发布实测数据的程度,但生态围绕自家平台闭环,开放性是短板。
  • 阿里云 OpenLake 走的是“全链路整合”路线——从采集到语义五段全覆盖,纵深足够,开放性介于前两者之间:云上的托管服务,底层兼容开放格式。
  • 专用向量数据库的处境最值得注意:它们在 AI 纵深上起步最早,但 Databricks 这篇实测证明的恰恰是“通用数据库能把这件事做到生产可用”,它们的空间正在被数据库原生能力从上方挤压。
  • 对象存储自建方案和传统数仓则分别缺规范加持和 AI 能力,处在最不利的位置。

换句话说,竞争格局不是四个格子就能装下的,但方向是明确的:专用向量数据库和自建方案的空间正在被挤压——前者被数据库原生能力下沉侵蚀,后者被规范和托管服务收编。

⚙️ 冰山之下:真正的活儿在水面以下

把这一周的动态收拢,会发现一个反复出现的模式:大家在争的都是水面之下的东西。

AI数据湖仓的冰山结构
显性能力:表里存文件与向量、毫秒级混合检索、Agent直接调用数据
产品叙事:全模态湖仓、湖库同源、Agent-Ready管线
~ 水面线 · 大众看得见的部分到此为止 ~
规范层:Iceberg v4的File类型、Parquet的向量逻辑类型、版本语义
治理与所有权:Catalog背后文件归属、权限模型、血缘与维护信号
成本工程:容量规划、CU定价基线、热查询的资源账
语义与知识:业务语义本体、知识图谱、从记忆到知识的可控性

Iceberg 的 File 类型是规范,Polaris 争论的是所有权,Databricks 晒出的是成本账,阿里云讲的是语义——这四件事没有一件是“发布会级”的炫技,但每一件都决定 AI 数据基础设施两年后的样子。

再看两个社区里正在同步推进的细节:Parquet 花了一周时间决定“什么是向量”以及“格式版本意味着什么”。这听起来琐碎,实则致命——如果一个文件格式对“向量”的定义含糊,那么嵌入的维度、精度、归一化方式就会各家各说各话,跨引擎兼容就成了空谈。格式版本语义则决定了老数据在新引擎上的兼容承诺。

综合这一周的观察,可以给行业几条务实的判断:

厂商/社区路径本周关键动作
Apache Iceberg开源规范先行v4 规范通过 FILE 类型,8 binding +1
Apache PolarisCatalog 治理争论 catalog 背后文件的所有权归属
Databricks工程实测+成本透明Lakebase Postgres 混合检索 4ms、0.5 CU 月 31~40 美元
阿里云全链路整合OpenLake、ApsaraLakebase、Agent-Ready 管线、语义本体

一句话总结逻辑链:规范决定数据能不能进来,治理决定数据敢不敢用,成本决定用不用得起,语义决定 Agent 用得好不好。 四环缺一不可,而这一周,四环都在动。

写在最后

回到开头那句判断:AI 数据正在成为开放湖仓的一等公民。

这句话的真正含义不是“湖仓加了一个向量列”这么简单。它是从数据模型(File 进表)、到治理(文件所有权)、到检索(混合查询的工程化成本)、到语义(从记忆到知识)的一整条纵深的重做。Iceberg 社区那一封封邮件、Databricks 那篇看似枯燥的容量规划、阿里云那套五段链路,都是这场重做的不同切面。

值得注意的是,这三条线索彼此咬合的方式:Iceberg 的规范让文件有了名分,Polaris 的争论让名分有了边界,Databricks 的实测让边界内的能力有了价格,而阿里云的语义层则试图回答“有了名分、边界和价格之后,Agent 拿这些数据能做成什么事”。任何一环掉队,整条链路的故事都不成立——这也是为什么这一周的动态值得逐条追踪,而不是当作三条孤立的新闻。

接下来值得盯的三个信号:一是 Iceberg v4 的维护信号机制怎么收掉 Kurtis Wright 提出的那个 +0 分歧;二是各云厂商会不会跟进公布类似的成本基线,把向量检索的价格战打到明面上;三是语义层会不会出现事实上的开放标准——如果语义被厂商私锁,Agent 时代的开放故事就要打个折扣。

湖仓的故事讲了十年,讲的都是“数据的仓库”。现在,故事的下半场开始了,主角换成了“AI 的胃口”。谁先把胃口喂明白,谁就拿到了下一张门票。

主要信源

1. Iceberg dev 邮件列表(FILE 类型投票及讨论):https://lists.apache.org/list.html?dev@iceberg.apache.org

2. Iceberg 表规范(含 v4 演进):https://iceberg.apache.org/spec/

3. FILE 类型提案原始讨论:https://github.com/apache/iceberg/issues (标题 "[PROPOSAL] File-based types")

4. Parquet 格式仓库(FILE 逻辑类型与版本语义讨论):https://github.com/apache/parquet-format

5. Apache Polaris 仓库与讨论:https://github.com/apache/polaris

6. Databricks 工程实测博客:https://www.databricks.com/blog/sizing-lakebase-search-lessons-real-app-and-4-million-passages

7. MIRACL 评测数据集:https://project-miracl.github.io/

8. BEIR 论文(检索榜单与零样本泛化的不一致性):https://arxiv.org/abs/2104.08663

9. 阿里云 OpenLake 产品页:https://www.aliyun.com/product/openlake