湖仓定义权之战,AI按下快进键
Iceberg v4把非结构化文件写进表规范,Polaris为文件归属权吵成一团,Parquet在定义向量类型,Databricks则用4毫秒和31美元把AI检索成本账摊开。开放湖仓的AI数据叙事,正从口号变成一条条邮件列表里的投票记录。
一周之内,开放湖仓的三块基石同时动了:表格式、目录、底层文件格式。Apache Iceberg 社区投票通过在 v4 规范中新增 FILE 类型,图片、PDF、音频第一次可以名正言顺地住进表列里;Polaris 围绕"文件进了目录之后归谁管"争论不休;Parquet 则在讨论向量到底算什么、格式版本意味着什么。另一边,Databricks 用一篇工程实测博客,把 Lakebase 混合检索的延迟和成本基数直接摊在台面上。AI 数据正在从湖仓的"客人"变成"户口本上的人",这场定义权之争才刚刚开始。
📄 一张表装下图片和PDF,湖仓边界被重新划定
这是开放湖仓诞生以来少有的"规格级"时刻。
据 Apache Iceberg 邮件列表记录,FILE 类型工作组由 Talat Uyarer 发起投票,最终以 8 票 binding +1 通过——Steven Wu、Péter Váry、Daniel Weeks、Gang Wu、Sung Yun、Amogh Jahagirdar、Yufei Gu、Russell Spitzer 均投下赞成票,另有 19 票非 binding +1。规格写法很克制:新类型存储一段字节,可以内联,也可以作为外部对象的引用,附带 URI、偏移量、大小、内容类型和校验和这些固定子字段。
克制,但影响深远。它刻意对齐了 Parquet 的 FILE 逻辑类型,意味着一张 Iceberg 表的某一列,从此可以承载真实带元数据和统计信息的图像、PDF、音频。过去做多模态 RAG,工程师要把文件扔进对象存储,再在表里存一个路径字符串——元数据散落、血缘断裂、权限失控。现在文件本身成了表的一等公民。
产业逻辑很清楚:当 RAG、多模态训练集、Agent 上下文都依赖"非结构化文件+结构化元数据"的组合,谁能把这个组合装进统一的事务性表格,谁就掌握 AI 数据管理的入口。Iceberg 这一步,是把入口的门槛写进了开放规范。用一位长期跟进社区的人士的话说:"这是把 AI 数据的户型图,画进了湖仓的建筑规范里。"
🗳️ 文件进了表,归属权吵翻了
规格通过只是上半场,下半场更微妙。
Community Over Code 在 Glasgow 结束后,邮件列表上的讨论顺着走廊talk继续——争论的焦点是 Polaris 提出的老问题:文件一旦进了目录,到底归谁所有、谁说了算?这不是学术争议。目录层决定了访问控制、凭证下发、血缘追踪,进而决定了 lakehouse 平台化的商业模式。文件类型入表之后,"管表"和"管文件"的边界必须重新切分。
有意思的是社区里的冷静声音。Kurtis Wright 投下了 +0——他并非反对,而是指出维护作业需要一个新的信号:当文件被当成数据管理时,compaction、过期清理这些例行维护操作,需要明确的语义约定,否则一个文件既是"数据"又是"对象存储里的 blob",删除和迁移的权责就会模糊。
这正是工程落地的真实质感。开放生态的博弈从来不在发布会,而在邮件列表的一票一票之间。对下游用户而言,这场争论的结果决定了未来多云架构下,你的多模态数据到底能不能"可携带"——如果目录层各说各话,Iceberg 的开放性承诺就会在文件这一层打折。
🧮 Parquet也没闲着,底层格式开始讨论向量
基础软件的演进,往往慢得让人着急,又快得让人措手不及。
同一周,Parquet 社区在讨论两件事:向量到底算什么类型,以及"格式版本"这个概念到底意味着什么。这两件事看着平淡,实际上是底层格式对 AI 时代的回应。向量检索普及之后,无数团队把 embedding 以 float 数组硬塞进二进制列,压缩率差、统计信息缺失、谓词下推无从谈起。如果 Parquet 原生定义向量类型,列式存储的压缩和向量化计算就能在物理层面协同。
水面之上是规格与性能,水面之下是治理、维护和格式协同。这周所有讨论的共同主线只有一条:embedding、文件、语义模型,都在向开放湖仓的一等公民身份迁移。换句话说,开放社区正在用最笨也最扎实的方式——改规范——回应 AI 对数据基础设施的重构。商业公司靠产品发布会讲故事,开源社区靠一封封投票邮件改地基。
💰 4毫秒与31美元,Databricks把账本摊开
概念满天飞的时候,最能服人的是实测数据。
10 月 15 日,Databricks 在官方博客发布工程实测文章《Sizing Lakebase Search:Lessons from a Real App and 4 Million Passages》,以公司内部应用 Slide Hub 和 MIRACL 英文数据集为对象,给出 Lakebase Postgres 混合检索的容量规划结论:热向量查询最低 4 毫秒,0.5 CU 每月 31~40 美元可作为生产基线。
| 关键指标 | 实测数值 | 说明 |
|---|---|---|
| 热向量查询延迟 | 最低 4 毫秒 | 基于内部应用 Slide Hub 实测 |
| 语料规模 | 400 万段落 | MIRACL 英文数据集 |
| 成本基线 | 0.5 CU / 月 31~40 美元 | 官方给出的生产参考值 |
| 检索模式 | 混合检索 | 向量与传统检索结合 |
这份博客的巧妙之处在于:它既是工程分享,也是一次市场卡位。AI 应用大规模落地后,最大的痛点不是"能不能检索",而是"多少 QPS 要花多少钱"。把 4 毫秒和 31~40 美元摆出来,等于直接给了采购决策者一把尺子。据多位接近人士观察,这种"用实测数据定生产基线"的打法,正在成为数据基础设施厂商的新竞争范式——比论文、比 benchmark 清单更有效,因为它回答的是 CFO 和架构师共同关心的问题。
另一个细节值得注意:Lakebase 是 Postgres 生态嫁接到 lakehouse 上的尝试,向量检索没有另起炉灶造专用引擎,而是沿着已有的 Postgres 事务能力做混合检索。这与开源社区"文件进表、向量进格式"的思路异曲同工——AI 数据不另建孤岛,而是嵌入既有数据体系的语义和治理框架。
小结
这一周,开放湖仓的叙事完成了一次静悄悄的升级:AI 数据不再是外部接口上的附加物,而是写进规范、算进成本、吵进治理的一等公民。Iceberg 的 FILE 类型划定"能装什么",Polaris 的争论划定"由谁管辖",Parquet 的讨论打通"底层怎么存",Databricks 的实测则回答"用起来多少钱"。接下来的看点有两个:一是文件类型入表后的维护语义能否尽快收敛,二是目录层归属权之争会不会分化出新的阵营。地基改造完成之日,才是 AI 数据平台真正洗牌之时。