🏢 公司C档 · NaN分

AI数据,正在湖仓里抢一个正式编制

··约1分钟阅读

📋 总体概括

Iceberg v4把非结构化文件写进表规范,Polaris争论文件权属,Databricks公开Lakebase检索实测成本,阿里云给出Agent时代全链路。AI数据正从湖仓的'编外人员'变成有编制的一等公民,格式、目录、服务三层同步重构。

📄 正文

10月的第三周,开源数据社区干了三件看起来毫不相干的事:给表格式加了一种新类型、为一个文件的归属权吵了整整七天、用四百万段落跑出了一份延迟和账单。

但把三件事叠在一起看,指向是同一个:AI 数据——文件、向量、语义——正在从湖仓的'编外人员',变成有编制的一等公民。这场'编制之争',会决定未来三年数据平台的格局。

📄 一张表里塞进 PDF:Iceberg 给 AI 数据上了编制

格式即宪法。

Community Over Code 格拉斯哥大会刚散场,很多贡献者还在回程的飞机上,Apache Iceberg 的邮件列表就接棒了会上的走廊讨论。这一周最大的产出,是 v4 规范新增 FILE 类型的投票正式通过。由 Talat Uyarer 发起的 FILE 类型工作组投票,最终收获 8 张约束性 +1(Steven Wu、Péter Váry、Daniel Weeks、Gang Wu、Sung Yun、Amogh Jahagirdar、Yufei Gu、Russell Spitzer),外加 19 张非约束性 +1。

这个新类型的技术含义值得掰开看:它存储一段字节流,既可内联,也可作为外部对象的引用,并带有 URI、偏移量、大小、内容类型和校验和这些固定子字段。它与 Parquet 的 FILE 逻辑类型相互镜像——意味着图片、PDF、音频可以真正作为表里的一列存在,而且带着真实的元数据和统计信息。

这不是'把文件塞进数据库'的老故事。老故事里二进制大对象是死的;新规范里,一个 PDF 列是有 stats、可被下游引擎规划执行的活数据。检索、过滤、血缘,全都第一次能作用在非结构化内容上。

但也不是没有杂音。Kurtis Wright 投了 +0,理由很实在:维护作业需要一个信号。翻译过来就是——一个表列里躺着几百万个外部文件引用时,compaction 怎么做、过期怎么清、孤儿引用谁负责?规范给了编制,还没给食堂和宿舍。

产业逻辑很清楚:表格式正在成为多模态数据的统一接口。谁定义了 v4,谁就定义了 AI 时代'一份 AI 数据长什么样'。

🗳️ 文件进了表,权属吵翻了目录层

表管格式,目录管产权。

同一周,Polaris 社区在争论一个更微妙的问题:当这些非结构化文件坐在 catalog 背后,它们到底归谁?表面上是元数据设计之争,底下是云厂商锁定与开放生态的博弈——文件进了表,表进了目录,目录就是 AI 数据资产的产权登记处。据多位接近开源社区的人士观察,这次争论的火药味明显比以往更重,因为标的第一次从结构化表扩大到了任意文件。

把这一周的事件串起来,节奏很紧凑:

  • 10月14–21日:Community Over Code 格拉斯哥会后,邮件列表延续走廊讨论
  • FILE 类型投票通过:8 票约束性 +1、19 票非约束性 +1,Kurtis Wright 投 +0 提出维护信号问题
  • Polaris:争论 catalog 背后非结构化文件的权属与访问控制
  • Parquet:讨论向量(vector)到底是什么、格式版本语义如何定义
  • 10月15日:Databricks 发布 Lakebase Search 容量规划工程实测

Parquet 那边同样耐人寻味:一个'向量'是嵌套列表还是一等逻辑类型?版本号升级意味着什么兼容承诺?这些问题以前是纯技术洁癖,现在是真金白银——向量类型的定义,直接决定各家向量检索实现的互操作性。

判断是:目录层的战争刚开打。表格式决定生态下限,catalog 决定数据产权,云厂商最肥的那层锁定利润,恰恰压在目录上。

📊 四毫秒、四十美元:Databricks 把 RAG 成本算给你看

玄学止于账单。

10月15日,Databricks 在官方博客发布工程实测《Sizing Lakebase Search:Lessons from a Real App and 4 Million Passages》,用公司内部应用 Slide Hub 和 MIRACL 英文语料,跑了 400 万段落的混合检索容量规划。结论给得非常'工程师':热向量查询最低 4 毫秒,0.5 CU 每月 31~40 美元可以作为生产基线。

关键指标数值说明
热向量查询延迟最低 4 毫秒真实应用负载下的下限值
数据规模400 万段落Slide Hub 内部应用 + MIRACL 英文语料
成本基线0.5 CU / 月 31~40 美元可作为生产环境起步档
检索模式混合检索向量 + 关键词混合,容量可规划

这篇文章的价值不止于数字本身。过去两年,RAG 检索选型是典型的'调参玄学':索引类型、分片策略、召回率与延迟的权衡,全靠各家 PPT 和 benchmark 玩具集。Databricks 用自己生产环境里的真实应用把容量规划和成本曲线摊开讲,等于给全行业立了一个定价和性能的锚点。

把各家在这个新战场上的位置摆出来看,格局也清晰了:

值得注意的是 Lakebase 本身的定位:Postgres 内核 + 湖仓底座,把事务型服务和检索型服务装进同一个计量单位(CU)里计费。这是 Databricks 在 Snowflake 压力下补齐 OLTP 与实时检索短板的关键落子——卖检索,最终卖的是'每查询成本'的确定性。

🤖 阿里云画了一张 Agent 时代的全链路地图

引擎之争,正在变成链路之争。

几乎同一时间,阿里云给出了自己对同一个问题的回答,而且视野拉得更长:Agent 时代,数据基础设施的完整链路是什么?

  • 采集与接入:OpenLake 全模态湖仓,一份数据多引擎平权计算——呼应的正是 Iceberg v4 的多模态方向
  • 清洗与转换:Agent-Ready 数据管线,从人构建走向 Agent 自主构建
  • 存储与治理:ApsaraLakebase 湖库同源,数据'放得下、放得起、醒得快'
  • 数据语义:业务语义本体 + 知识图谱,'从记忆到知识是可控的'

这张图里最值得琢磨的是中间那段:管线从'人构建'转向'Agent 自主构建'。过去数据工程的一切设计——schema、文档、契约——默认读者是人;当数据管线的构建者和消费者都变成 Agent,管线就必须为机器可读、机器可验证而重新设计。这会重写一整代 ETL 工具的交互假设。

'湖库同源'和'醒得快'则是成本视角的回应:AI 负载的访问模式极不均匀,冷数据和热数据在同一个底座上按需唤醒,本质是把存储成本和检索延迟做成一条可调的曲线。这与 Databricks 那份 31~40 美元月账单,是同一个问题的两种解法。

判断:云大厂已经开始按'链路'而非'组件'讲故事。单点引擎的参数优势,正在被端到端的成本与可控性叙事稀释。

⚖️ 三条线正在拧成一股绳

分头演进,殊途同归。

把这一周的三股力量摆在一起,层次就出来了:格式层(Iceberg v4 的 FILE 类型、Parquet 的向量类型)定义 AI 数据的物理形态;目录层(Polaris 的权属之争)定义 AI 数据的产权与治理;服务层(Lakebase 的容量实测、阿里云的全链路构想)定义 AI 数据的商业兑现方式。

同一份数据,正在被三层规则同时重塑:

三句话概括当前的格局判断:开源表格式决定生态下限,catalog 决定数据产权归属,服务层的每查询成本决定谁真正赚到钱。云厂商的焦虑在于——前两层越开放,第三层的锁定溢价就越难维持。这也是 Polaris 那场争论背后真正的张力。

对从业者,三条可执行的建议:第一,评估自家平台对非结构化列的支持路线图,v4 落地前后会有一波迁移与兼容红利;第二,把检索成本从'拍脑袋'升级为容量规划,Databricks 已经给出了可对标的基线;第三,关注 Agent 自主构建管线的工具链,那是下一代数据工程的入口。

小结:一场投票、一次争论、一份实测,共同宣告了同一件事——AI 数据正式入编湖仓。接下来 12 到 18 个月,看点在目录层的产权博弈和 FILE 类型的工程成熟度:编制给了,食堂和宿舍还等着盖。谁能把'有编制的 AI 数据'运维好、计费清、治理住,谁就拿到下一个周期的船票。

“本文事实基于 2026 年 10 月 14–21 日 Apache 社区邮件列表公开讨论、Databricks 官方博客及阿里云公开表述,定位图与格局判断为作者推演。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)