🏢 公司C档 · NaN分

数据湖开始收编AI数据了

··约1分钟阅读

📋 总体概括

Iceberg v4通过FILE类型让多模态文件成为表的一等公民,Polaris争论文件权属,Databricks实测Lakebase混合检索给出4毫秒延迟与每月31美元基线,阿里云画出Agent时代数据基建完整链路。规范、价格、产品同时落地,AI数据基建正从概念期进入工程期。

📄 正文

2026 年 10 月中旬,Community Over Code 格拉斯哥大会刚散场,很多人还在回程的飞机上,Apache 社区的邮件列表已经接上了走廊讨论的话头。一周之内,三件事接连落地:Apache Iceberg 投票通过把文件写进 v4 规范;Databricks 在官方博客里给向量检索标出了 4 毫秒和每月 31 美元的价签;阿里云 则完整画出了 Agent 时代数据基建的链路图。

三条线指向同一个判断:AI 数据——embedding、多模态文件、语义模型——正在成为开放湖仓的一等公民。这不是又一场概念运动,而是规范、价格、平台产品同时到位的工程信号。

📦 文件进了表:Iceberg v4 的一小步,治理的一大步

表格式的历史使命,从来不止是管好结构化的行。

最大的消息是 Apache Iceberg v4 规范新增 FILE 类型的投票正式通过。Talat Uyarer 为 FILE 类型工作组发起投票,最终拿到 8 票 binding +1——Steven Wu、Péter Váry、Daniel Weeks、Gang Wu、Sung Yun、Amogh Jahagirdar、Yufei Gu、Russell Spitzer,外加 19 票 non-binding +1。名单几乎覆盖了 Iceberg 社区最核心的一批维护者,规格方向没有悬念。

这个新类型可以在列里直接内联存储一段字节,也可以只存外部对象的引用,固定子字段包括 URI、偏移量、大小、content type 和校验和。设计上刻意镜像了 Parquet 的 FILE 逻辑类型——这意味着图片、PDF、音频可以作为表列存放,并且携带真实的元数据和统计信息。

⚠️ 但不是没有保留意见。Kurtis Wright 投了 +0,理由直指工程落地:维护作业需要一个信号,否则这些动辄几 MB 的大字段会让 compaction、快照过期这类后台任务无所适从。据多位长期跟进社区的开发者观察,这个 +0 拖住的不是投票结果,而是后续的实现节奏——规范先行,工具链还在路上。

产业逻辑很清晰:RAG 语料库、多模态训练样本、客服录音,从此有资格享受表级治理——版本、血缘、权限、统计一视同仁。过去这些文件散落在对象存储的某个前缀下,治理靠约定;现在它们第一次有了规范层面的抓手。对数据平台厂商来说,这是把"非结构化资产管理"从 PPT 叙事变成可交付功能的起点。

🧭 文件归谁管:目录层的暗战才刚开打

文件进了表,真正的战场才刚拉开——文件到底归谁管?

同一周,Polaris 社区在争论一个更尖锐的问题:文件一旦写进表、坐到 catalog 后面,所有权和管控边界怎么划分?Parquet 社区则花了一整周讨论两个看似朴素的问题:什么是向量?格式版本号到底意味着什么?

把这一周的事件串起来看:

  • 10 月 14~21 日:Iceberg FILE 类型工作组投票通过,8 票 binding +1、19 票 non-binding +1
  • 同一周:Polaris 社区讨论 catalog 背后文件的权属划分
  • 同一周:Parquet 推进 vector 逻辑类型与版本语义的定义

表格式、文件格式、目录三层同时在修订章程,这在一个成熟开源生态里并不多见。

产业逻辑是:目录正在变成开放湖仓的控制平面。表格式决定数据的形态,文件格式决定数据的编码,而目录决定数据资产的入口和权属。谁定义了"文件在目录里的权属",谁就握住了 AI 数据资产的咽喉。这也是为什么各大厂都在押注自己的 catalog 实现——规范之争本质上是入口之争。

⚡ 四毫秒与三十一美元:向量检索开始明码标价

一项技术进入生产成熟期的标志,是有人认真帮你算账。

10 月 15 日,Databricks 发布工程实测文章《Sizing Lakebase Search: Lessons from a Real App and 4 Million Passages》,拿公司内部应用 Slide Hub 和 MIRACL 英文数据集,在 400 万段落规模上做 Lakebase Postgres 混合检索的容量规划实测。

📊 核心数据如下:

项目实测结果
实测载体Slide Hub 内部应用 + MIRACL 英文数据集
语料规模400 万段落
热向量查询延迟最低 4 毫秒
最小生产基线0.5 CU,每月约 31~40 美元
规划方法混合检索容量规划

判断之前先泼一盆冷水:4 毫秒是热查询的下限,缓存命中和规模化之后的尾延迟仍要看真实负载。但这篇博客的真正价值不在单一数字,而在方法论——把向量检索的容量规划从"拍脑袋开规格"变成可复现的工程实践。

产业逻辑有三层。第一,Lakebase 是 Databricks 把 Postgres 事务能力内嵌进湖仓平台的落子,OLTP、检索、湖仓分析在同一个平台闭环,专用向量数据库独立采购的理由被进一步稀释。第二,"0.5 CU 每月 31~40 美元"给出了一个明确的价格锚点,采购第一次可以按公式算账,而不是跑分看运气。第三,厂商主动公布自家产品的容量边界和成本区间,通常是该品类从营销期进入交付期的信号。

🤖 从人建管道到 Agent 自建:阿里云的链路赌注

当数据的消费者从人变成 Agent,管道的建造者也该换人了。

阿里云在最近的一次阐述中,把 Agent 时代的数据基础设施拆成了完整链路:采集与接入环节,OpenLake 全模态湖仓实现"一份数据、多引擎平权计算";清洗与转换环节,Agent-Ready 数据管线从"人构建"走向"Agent 自主构建";存储与治理环节,ApsaraLakebase 湖库同源,让数据"放得下、放得起、醒得快"。

站在 Agent 的视角,这条链路是一次完整的消费旅程:

痛点与解法一一对应:

Agent时代的数据基建痛点与解法
痛点 1
多模态数据散落在湖外,治理靠约定
→
解法
全模态湖仓,一份数据多引擎平权计算
痛点 2
管线靠人工排期搭建,响应慢
→
解法
Agent-Ready管线,从人构建到Agent自主构建
痛点 3
湖与库割裂,存算各自付费成本高
→
解法
湖库同源,数据放得下放得起醒得快
痛点 4
模型只有记忆没有知识
→
解法
业务语义本体加知识图谱,从记忆到知识可控

产业逻辑在于消费方式的根本变化:人看报表可以容忍 T+1,Agent 7×24 小时运转,人工排期建管道根本跟不上它的消费节奏。但管线自主构建是有代价的——治理、权限、血缘必须从事后补救变成前置条件,否则 Agent 建出来的管道就是不可审计的黑箱。这也是阿里云把"存储与治理"放在链路中间、把语义放在最后压轴的用意。

🧠 语义层:Agent 时代真正的护城河

模型有记忆不等于有知识,语义层是把记忆变知识的那道关卡。

阿里云链路的最后一环是数据语义:业务语义本体 + 知识图谱,官方表述是"从记忆到知识是可控的"。这句话值得细品——它承认了大模型当前的局限,也给出了数据平台侧的解法:知识不由模型自己"悟"出来,而是由数据平台显式定义、显式供给。

把三条线索放到一起看,会发现一个有趣的同构:Apache Iceberg 的 FILE 类型给文件补上了元数据和统计;Polaris 在争论文件的权属边界;阿里云在给数据补语义本体和知识图谱。三家做的其实是同一件事——给 AI 数据补上"语义"与"权属"这两门课。

产业逻辑是:当查询者是人,语义歧义会被人的经验消化掉;当查询者是 Agent,一次歧义会被放大成系统性错误,而且它不会像人一样绕过去。因此语义层的正确性直接决定 Agent 产出的可靠性。可以预判,语义层将是下一代数据平台真正的差异化竞争点——也是开放标准目前尚未覆盖的空白地带,谁先把它标准化,谁就掌握下一轮话语权。

小结

一周之内,规范(Iceberg v4 的 FILE 类型)、价格(Lakebase 每月 31 美元的生产基线)、平台叙事(阿里云的 Agent 数据链路)同时落地,AI 数据基础设施正从概念期切进工程期。下一战场也已经清晰:文件权属的目录标准、向量类型的格式统一、语义层的开放化。数据湖收编 AI 数据,目前只写完了第一页——但目录和语义这两章,大概率决定谁执笔后面的章节。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)