数据湖开始收编AI数据了
Iceberg v4通过FILE类型让多模态文件成为表的一等公民,Polaris争论文件权属,Databricks实测Lakebase混合检索给出4毫秒延迟与每月31美元基线,阿里云画出Agent时代数据基建完整链路。规范、价格、产品同时落地,AI数据基建正从概念期进入工程期。
2026 年 10 月中旬,Community Over Code 格拉斯哥大会刚散场,很多人还在回程的飞机上,Apache 社区的邮件列表已经接上了走廊讨论的话头。一周之内,三件事接连落地:Apache Iceberg 投票通过把文件写进 v4 规范;Databricks 在官方博客里给向量检索标出了 4 毫秒和每月 31 美元的价签;阿里云 则完整画出了 Agent 时代数据基建的链路图。
三条线指向同一个判断:AI 数据——embedding、多模态文件、语义模型——正在成为开放湖仓的一等公民。这不是又一场概念运动,而是规范、价格、平台产品同时到位的工程信号。
📦 文件进了表:Iceberg v4 的一小步,治理的一大步
表格式的历史使命,从来不止是管好结构化的行。
最大的消息是 Apache Iceberg v4 规范新增 FILE 类型的投票正式通过。Talat Uyarer 为 FILE 类型工作组发起投票,最终拿到 8 票 binding +1——Steven Wu、Péter Váry、Daniel Weeks、Gang Wu、Sung Yun、Amogh Jahagirdar、Yufei Gu、Russell Spitzer,外加 19 票 non-binding +1。名单几乎覆盖了 Iceberg 社区最核心的一批维护者,规格方向没有悬念。
这个新类型可以在列里直接内联存储一段字节,也可以只存外部对象的引用,固定子字段包括 URI、偏移量、大小、content type 和校验和。设计上刻意镜像了 Parquet 的 FILE 逻辑类型——这意味着图片、PDF、音频可以作为表列存放,并且携带真实的元数据和统计信息。
⚠️ 但不是没有保留意见。Kurtis Wright 投了 +0,理由直指工程落地:维护作业需要一个信号,否则这些动辄几 MB 的大字段会让 compaction、快照过期这类后台任务无所适从。据多位长期跟进社区的开发者观察,这个 +0 拖住的不是投票结果,而是后续的实现节奏——规范先行,工具链还在路上。
产业逻辑很清晰:RAG 语料库、多模态训练样本、客服录音,从此有资格享受表级治理——版本、血缘、权限、统计一视同仁。过去这些文件散落在对象存储的某个前缀下,治理靠约定;现在它们第一次有了规范层面的抓手。对数据平台厂商来说,这是把"非结构化资产管理"从 PPT 叙事变成可交付功能的起点。
🧭 文件归谁管:目录层的暗战才刚开打
文件进了表,真正的战场才刚拉开——文件到底归谁管?
同一周,Polaris 社区在争论一个更尖锐的问题:文件一旦写进表、坐到 catalog 后面,所有权和管控边界怎么划分?Parquet 社区则花了一整周讨论两个看似朴素的问题:什么是向量?格式版本号到底意味着什么?
把这一周的事件串起来看:
- 10 月 14~21 日:Iceberg FILE 类型工作组投票通过,8 票 binding +1、19 票 non-binding +1
- 同一周:Polaris 社区讨论 catalog 背后文件的权属划分
- 同一周:Parquet 推进 vector 逻辑类型与版本语义的定义
表格式、文件格式、目录三层同时在修订章程,这在一个成熟开源生态里并不多见。
产业逻辑是:目录正在变成开放湖仓的控制平面。表格式决定数据的形态,文件格式决定数据的编码,而目录决定数据资产的入口和权属。谁定义了"文件在目录里的权属",谁就握住了 AI 数据资产的咽喉。这也是为什么各大厂都在押注自己的 catalog 实现——规范之争本质上是入口之争。
⚡ 四毫秒与三十一美元:向量检索开始明码标价
一项技术进入生产成熟期的标志,是有人认真帮你算账。
10 月 15 日,Databricks 发布工程实测文章《Sizing Lakebase Search: Lessons from a Real App and 4 Million Passages》,拿公司内部应用 Slide Hub 和 MIRACL 英文数据集,在 400 万段落规模上做 Lakebase Postgres 混合检索的容量规划实测。
📊 核心数据如下:
| 项目 | 实测结果 |
|---|---|
| 实测载体 | Slide Hub 内部应用 + MIRACL 英文数据集 |
| 语料规模 | 400 万段落 |
| 热向量查询延迟 | 最低 4 毫秒 |
| 最小生产基线 | 0.5 CU,每月约 31~40 美元 |
| 规划方法 | 混合检索容量规划 |
判断之前先泼一盆冷水:4 毫秒是热查询的下限,缓存命中和规模化之后的尾延迟仍要看真实负载。但这篇博客的真正价值不在单一数字,而在方法论——把向量检索的容量规划从"拍脑袋开规格"变成可复现的工程实践。
产业逻辑有三层。第一,Lakebase 是 Databricks 把 Postgres 事务能力内嵌进湖仓平台的落子,OLTP、检索、湖仓分析在同一个平台闭环,专用向量数据库独立采购的理由被进一步稀释。第二,"0.5 CU 每月 31~40 美元"给出了一个明确的价格锚点,采购第一次可以按公式算账,而不是跑分看运气。第三,厂商主动公布自家产品的容量边界和成本区间,通常是该品类从营销期进入交付期的信号。
🤖 从人建管道到 Agent 自建:阿里云的链路赌注
当数据的消费者从人变成 Agent,管道的建造者也该换人了。
阿里云在最近的一次阐述中,把 Agent 时代的数据基础设施拆成了完整链路:采集与接入环节,OpenLake 全模态湖仓实现"一份数据、多引擎平权计算";清洗与转换环节,Agent-Ready 数据管线从"人构建"走向"Agent 自主构建";存储与治理环节,ApsaraLakebase 湖库同源,让数据"放得下、放得起、醒得快"。
站在 Agent 的视角,这条链路是一次完整的消费旅程:
痛点与解法一一对应:
产业逻辑在于消费方式的根本变化:人看报表可以容忍 T+1,Agent 7×24 小时运转,人工排期建管道根本跟不上它的消费节奏。但管线自主构建是有代价的——治理、权限、血缘必须从事后补救变成前置条件,否则 Agent 建出来的管道就是不可审计的黑箱。这也是阿里云把"存储与治理"放在链路中间、把语义放在最后压轴的用意。
🧠 语义层:Agent 时代真正的护城河
模型有记忆不等于有知识,语义层是把记忆变知识的那道关卡。
阿里云链路的最后一环是数据语义:业务语义本体 + 知识图谱,官方表述是"从记忆到知识是可控的"。这句话值得细品——它承认了大模型当前的局限,也给出了数据平台侧的解法:知识不由模型自己"悟"出来,而是由数据平台显式定义、显式供给。
把三条线索放到一起看,会发现一个有趣的同构:Apache Iceberg 的 FILE 类型给文件补上了元数据和统计;Polaris 在争论文件的权属边界;阿里云在给数据补语义本体和知识图谱。三家做的其实是同一件事——给 AI 数据补上"语义"与"权属"这两门课。
产业逻辑是:当查询者是人,语义歧义会被人的经验消化掉;当查询者是 Agent,一次歧义会被放大成系统性错误,而且它不会像人一样绕过去。因此语义层的正确性直接决定 Agent 产出的可靠性。可以预判,语义层将是下一代数据平台真正的差异化竞争点——也是开放标准目前尚未覆盖的空白地带,谁先把它标准化,谁就掌握下一轮话语权。
小结
一周之内,规范(Iceberg v4 的 FILE 类型)、价格(Lakebase 每月 31 美元的生产基线)、平台叙事(阿里云的 Agent 数据链路)同时落地,AI 数据基础设施正从概念期切进工程期。下一战场也已经清晰:文件权属的目录标准、向量类型的格式统一、语义层的开放化。数据湖收编 AI 数据,目前只写完了第一页——但目录和语义这两章,大概率决定谁执笔后面的章节。