🏢 公司C档 · NaN分

湖仓开吞文件,AI数据栈重排座次

··约1分钟阅读

📋 总体概括

Iceberg v4规范通过投票,正式把FILE类型写进表结构;Polaris为文件归属权吵翻邮件列表;Databricks实测Lakebase混合检索给出4毫秒、31美元级的生产基线。开放湖仓正在把非结构化数据收编为'一等公民',AI数据栈的座次正在重排。

📄 正文

表格的列里,第一次可以正经放一段音频、一张PDF。这不是炫技,是AI数据栈的地基在换。

2026年10月中这一周,从Community Over Code格拉斯哥会场飞回来的贡献者们还没倒完时差,Apache Iceberg、Apache Polaris和Apache Parquet的邮件列表就接上了会场的走廊讨论。三条线索指向同一件事:embedding、文件、语义模型,正在变成开放湖仓的一等公民。

🧊 表格里出现了一列"文件"

先讲最硬的结果。Talat Uyarer发起了Iceberg v4规范新增FILE类型的投票,10月21日前后落槌:8票有约束力的+1,来自Steven Wu、Péter Váry、Daniel Weeks、Gang Wu、Sung Yun、Amogh Jahagirdar、Yufei Gu和Russell Spitzer,另有19票无约束力+1。投票干净利落,没有拉锯。

这个FILE类型能存一段字节——可以内联,也可以引用外部对象——并带上固定的子字段:URI、偏移量、大小、content type和校验和。设计上刻意对齐了Parquet的FILE逻辑类型。换句话说,图片、PDF、音频可以作为一个真正的表列存在,而不是一个裸路径字符串:它有元数据,有统计信息,能被SQL查询和优化器理解。

时间线很短,但每一步都有分量:

  • 10月14-21日:格拉斯哥Community Over Code结束,邮件列表承接走廊讨论
  • 投票发起:Talat Uyarer为FILE type working group开启v4规范投票
  • 投票关闭:8个binding +1、19个non-binding +1,FILE类型进入v4规范
  • 同期:Kurtis Wright投出+0,指出维护作业需要一个信号来清理不再被引用的文件

那个+0值得单独说一句。Kurtis Wright提的问题是工程问题:文件进了表,表有了生命周期,文件也得有——过期快照里的旧文件谁来标记、谁来删?这正是架构师看问题的角度:功能是一天的事,运维是十年的事。

产业逻辑其实很直白。过去非结构化数据在湖里,结构化数据在表里,两者之间靠ETL和"外挂"的AI平台缝合。现在表格式规范层面直接承认了字节流的地位,多模态训练数据可以在表内获得版本、快照、时间旅行和血缘——这些恰恰是AI数据治理最缺的东西。

⚖️ 文件进了表,权属问题跟着进门

功能刚落地,麻烦就到了。这一周Apache Polaris邮件列表上吵得最凶的问题只有一个:文件一旦被收进catalog,到底归谁管?

这不是抬杠。FILE类型支持"内联"和"外部引用"两种存储方式,后者意味着一段音频可能物理上在某个对象存储桶里,逻辑上在Iceberg表里,权限控制权在Polaris这类catalog手里。三条边界线交叠,归属权就成了架构决策:catalog是只做逻辑命名空间,还是下沉到对物理对象做访问控制和生命周期管理?据多位跟踪列表的社区人士观察,这场讨论的实质是在争夺"AI数据控制平面"的定义权——谁管catalog,谁就管住了数据之上的一切:权限、审计、血缘、计费。

与此同时,Parquet那边也在做一件看似枯燥、实则关键的事:定义"什么是一个向量",以及"格式版本"到底意味着什么。向量列要有统一的类型语义,不同引擎读出来的embedding才能对得上;格式版本规则不清晰,写入端和读取端就会在兼容性上互相甩锅。

把三条线索放在一起看,逻辑就浮出来了:

存储格式、catalog协议、文件语义三层同时动工——这是典型的"标准抢跑"阶段。谁的标准先被主流引擎实现,谁就能把生态锁进自己的引力范围。开源社区这一周的忙碌,本质上是开放阵营在AI数据这一层补齐对专有平台的防御工事。

💰 4毫秒与31美元:混合检索的成本账

标准在云端之上打架,账本在云端之下落地。10月15日,Databricks官方博客发了篇工程实测《Sizing Lakebase Search: Lessons from a Real App and 4 Million Passages》,拿公司内部应用Slide Hub和MIRACL英文语料——整整400万个段落——做了混合检索的容量规划实测。

结论对做工程的人很有用:热向量查询最低能压到4毫秒;最小规格0.5 CU,每月成本约31~40美元,可以作为生产环境的起步基线。这个数字不大,但含义不小——它把"AI检索能不能上生产"从架构争论变成了可以拿计算器按出来的预算题。

实测核心指标整理如下:

指标实测结果说明
热向量查询延迟最低约4ms基于Slide Hub真实负载
语料规模400万段落MIRACL英文语料
检索方式混合检索向量+结构化混合查询
起步规格0.5 CU生产可用基线
月成本约31~40美元最小规格估算

Lakebase的打法值得注意:它不是另起炉灶造一个向量数据库,而是把Postgres这个最成熟的OLTP引擎拖进湖仓体系,让事务数据、向量、全文检索在同一个引擎里完成混合查询。这正是与Iceberg FILE类型异曲同工的思路——不新增一个数据孤岛,而是扩展现有基础设施的语义边界。

更深一层的判断是:AI检索正在从"算法竞赛"转入"工程竞赛"。模型侧的能力趋同之后,剩下的胜负手是延迟、成本、容量规划这些朴素指标。Databricks愿意把内部压测数据写成博客公开,本身就是一种姿态——在AI数据这个战场上,工程可信度正在成为最好的营销。

🧭 座次重排:非结构化数据落在哪里

把开放社区和商业厂商这一周的动作拼起来,非结构化数据的落点之争已经能画出一张象限图:

右上角的两个位置,一个属于开放标准路线(Iceberg文件类型),一个属于云厂商整合路线(Databricks Lakebase)。它们技术门槛高,但一旦做通,平台价值最大:多模态数据在表内有版本、有统计、有权限,检索在同一栈内闭环。左下角的对象存储直挂是今天的默认做法——简单、便宜,但没有元数据治理,AI团队等于在裸奔。专用向量数据库卡在一个尴尬位置:技术不弱,但价值正被湖仓一侧的混合检索侵蚀。

看清楚这件事的完整结构,需要区分水面上的功能和水面下的根基:

AI就绪湖仓:水面上下
文件类型进表:Iceberg v4的FILE类型,多模态数据成为表列
毫秒级混合检索:Lakebase实测4ms热查询,成本可按CU计算
语义模型一等公民:embedding与语义层纳入湖仓开放规范讨论
~ 水面线 · 大众看得见的部分到此为止 ~
Catalog权属协议:Polaris争夺文件治理权,决定控制平面归属
向量类型语义:Parquet定义向量与版本规则,保证跨引擎一致
生命周期与维护:Kurtis Wright提出的文件清理信号问题
容量规划方法论:Databricks公开的压测与成本基线

水面上的功能决定卖点,水面下的根基决定胜负。这一周所有热闹——投票、争论、压测博客——都是在往水下打桩。

对从业者的建议很实在:如果你在做AI数据平台,优先押注开放表格式这条线,因为它是唯一能同时兼容多云、多引擎的收敛点;如果你们的检索场景已经过亿级段落,Databricks给出的4毫秒/31美元基线值得拿来对标自己的成本表;而catalog的权属之争还没落定,选型时务必留好迁移后路。

结语:地基换了,楼会跟着重盖

一周之内,表格式承认了文件,catalog开始争文件的权,数据库给出了检索的成本基线。三个动作看似分散,实则是同一场地基施工:AI时代的湖仓,正在把"数据"的定义从行和列,扩展到字节和向量。接下来一年,值得盯的不是又一个概念发布会,而是FILE类型在主流引擎里的落地速度,以及catalog权属之争最终写出什么样的规范条文——地基的桩打到哪儿,楼就能盖到哪儿。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)