湖仓与存储Data for AI产业观察评论分析· 4100 字· 约7分钟阅读

把图片塞进数据表,湖仓底牌翻了

A
AI编辑团队AI 原创内容
2026-11-18 22:25 发布· 本文由作者与AI协作完成
本内容由人工智能生成,仅供研究参考,不构成投资建议。
💡

Iceberg v4通过FILE类型让图片音频入表,Polaris激辩文件权属,Databricks实测Lakebase 4毫秒向量查询与31~40美元成本基线,阿里云端出Agent时代全链路蓝图。AI数据正从外挂资产变成湖仓一等公民,catalog与语义层成为下一战场。

2026年10月中旬,Apache Iceberg 社区投票通过了一项看似不起眼的提案:允许一张图片、一段音频,以"列"的形式写进数据表。这不是格式层面的修补,而是湖仓对 AI 数据的正式收编。同一周,Databricks 晒出 4 毫秒向量查询的实测账单,阿里云端出了 Agent 时代的全链路蓝图。一场围绕"AI 数据一等公民化"的三线竞速,已经开打。

📦 一张图片,第一次拿到了"表民身份"

真正的格式革命,往往是从一个 +1 票开始的。

Community Over Code 格拉斯哥大会刚散场,不少贡献者还在回程的航班上,邮件列表里的讨论就接着线下交流的热乎劲继续了。Talat Uyarer 发起 FILE 类型工作组的投票,结果干净利落:8 票有约束力的 +1(Steven Wu、Péter Váry、Daniel Weeks、Gang Wu、Sung Yun、Amogh Jahagirdar、Yufei Gu、Russell Spitzer),外加 19 票非约束性 +1。特别值得留意的是 Kurtis Wright 那一票 +0——他的理由是维护作业需要额外信号来处理内联大对象,这一票的分量不比赞成票轻。

🧊 技术上,新类型可以把一段字节直接内联存储,或以引用方式指向外部对象,固定包含 URI、偏移量、大小、内容类型和校验和五个子字段,并与 Parquet 的 FILE 逻辑类型对齐。这意味着图片、PDF、音频可以带着真实的元数据和统计信息,坐在表的一列里。

产业逻辑很清楚:此前 RAG 应用把文件丢进对象存储,元数据靠外挂数据库、血缘靠人肉记录,AI 数据与表世界是"两套户口"。FILE 类型让非结构化数据第一次享有 schema、统计、权限、血缘的完整待遇。数据治理的叙事边界,从"表"扩展到了"字节"。这不是功能更新,是身份认证。

本周时间线:

  • 10月14–21日:Iceberg v4 FILE 类型投票通过,8 票 binding +1、19 票非约束性 +1
  • 10月15日:Databricks 发布 Lakebase Search 容量实测工程文章
  • 同一周:Polaris 社区讨论文件进入 catalog 后的权属问题
  • 同一周:Parquet 社区推进向量类型与格式版本语义的定义

🔐 文件进了表,最值钱的变成了"谁说了算"

格式的战争接近尾声,catalog 的战争才刚开始。

同一周,Polaris 社区在争论一个更尖锐的问题:文件一旦进入 catalog 的管辖范围,归属权归谁?内联进表的大对象、以引用方式指向外部桶的 FILE 列,删除由谁执行、配额由谁计量、权限是沿表走还是沿对象走——邮件列表里没有现成答案。

catalog 是湖仓的"户口与不动产登记系统"。表格式开放之后,厂商真正的护城河只能建在 catalog 上:谁控制 catalog,谁就控制 AI 数据的访问入口、审计口径和计费触点。这也是为什么 Snowflake 主导 Polaris 开源、Databricks 重仓 Unity Catalog——表面是开放生态叙事,底下是入口之争。据多位接近开源社区的人士说,FILE 类型通过之后,catalog 侧的权属讨论明显升温,"大家都清楚,文件收编完,下一仗就是登记权"。

对企业的含义:选型时守住 catalog 的开放接口与互操作性,比守住表格式更重要。Iceberg 已经足够开放,将来真正锁死你的,很可能在目录层。

⚡ 4 毫秒和 31 美元:向量检索的成本底牌

上生产的门槛从来不是 demo 排行榜,是每一个 CU 的账单。

💰 10 月 15 日,Databricks 发布工程实测文章《Sizing Lakebase Search:Lessons from a Real App and 4 Million Passages》,用公司内部应用 Slide Hub 与 MIRACL 英文数据集压测 Lakebase Postgres 的混合检索,给出了可以抄作业的数字:

指标数值
热向量查询延迟最低 4 毫秒
实测数据规模400 万 passages(Slide Hub + MIRACL 英文集)
0.5 CU 月成本31–40 美元
生产定位可作为容量规划基线

这篇文章真正的信息量不在延迟数字,而在"容量规划"四个字。向量检索从 POC 走向生产,工程团队要的不是索引算法冠军,而是"我这点数据、这点 QPS,每个月要花多少钱"。把成本模型公开成工程博客,本身就是竞争武器——对手要么跟进晒账单,要么被贴上"只讲架构不讲成本"的标签。

更深一层,Lakebase 是 Databricks 的 Postgres 服务层,与湖仓打通,"湖(Iceberg)+ 仓 + 库(Postgres)"在一家厂商内完成收口。AI 应用的检索架构正在从"向量数据库外挂"转向"湖仓原生的服务层",这一步位移,会直接重构一批独立向量数据库的估值逻辑。

🤖 语义层:巨头开始画"Agent 全链路"的大图

格式定了,语义才是下一个必争之地。

底层还在补课:Parquet 社区这一周在讨论"什么是一个向量"以及"格式版本意味着什么"——向量类型的底层标准仍未收敛。而上层叙事已经跑到前面。

阿里云在阐述 Agent 时代数据基础设施的完整链路时,把四层能力串成了一条线:

具体到产品语言:采集接入靠 OpenLake 全模态湖仓,一份数据多引擎平权计算;清洗转换靠 Agent-Ready 数据管线,从人构建走向 Agent 自主构建;存储治理靠 ApsaraLakebase 湖库同源,口号是"数据放得下、放得起、醒得快";最顶层是业务语义本体加知识图谱,让 Agent"从记忆到知识是可控的"。

这条链路里最值得注意的不是产品名,而是两个表态。其一,数据管线将"由 Agent 自主构建",意味着治理对象从数据本身扩展到"造数据的 Agent";其二,语义层被明确列为独立一层——Agent 能否可靠工作,取决于语义对齐的确定性,而这恰恰是纯向量检索给不了的。

有趣的对照是:国外开源社区用 Parquet 和 Iceberg 在物理层一点点补语义能力,国内厂商直接在平台层画语义大图。路径不同,押注相同——AI 数据的价值密度,最终在语义层兑现。

🔭 三条战线,一个收口:留给企业的判断

热闹在格式层,胜负在目录层,账单在服务层。

把本周的几个玩家放进同一张坐标系,格局一目了然:

据此给出四条判断:

1. 格式层共识最快。Iceberg 与 Parquet 都是 Apache 顶级项目,供应商只能跟随,v4 spec 的 FILE 类型大概率成为多模态湖仓的事实起点。

2. catalog 层是真正的厂商暗战。Polaris 的文件权属讨论只是开场,目录的开放性将成为未来两年最关键的选型变量。

3. 服务层进入成本定价战。Lakebase 的公开实测会逼迫全行业晒账单,"4 毫秒 + 31 美元"会变成采购谈判里的锚点数字。

4. 语义层刚刚开题。标准缺位,谁先做出"可控语义"的参考实现,谁就定义赛道——这是留给所有玩家的最大变数。

而支撑这些热闹的隐性根基,恰恰是当前讨论最少的部分:

AI数据基建的显性与隐性
显性成果:FILE类型入表、4毫秒向量查询、31~40美元月成本、Agent全链路产品蓝图
~ 水面线 · 大众看得见的部分到此为止 ~
隐性根基:catalog文件权属规则、内联大对象的维护信号、Parquet格式版本演进、语义对齐可控性、Agent管线的治理边界

小结

十月的邮件列表没有发布会式的喧嚣,但 FILE 类型入表、catalog 权属之辩、4 毫秒实测与语义层蓝图,指向同一件事:AI 数据正在完成从"外挂资产"到"一等公民"的登记。对企业数据团队而言,接下来十八个月里,比选对厂商更重要的,是守住开放表格式与开放 catalog 的底线——因为数据一旦被语义和目录锁住,迁移成本将远高于今天。湖仓的下一仗,打的不是存储,是登记权和解释权。