🏢 公司C档 · NaN分

数据湖最难的三个字:完工了

··约1分钟阅读

📋 总体概括

Pinterest 公开了用 Flink 事件时间水位线为 PB 级 CDC 分区定稿的机制,把数据完整性判断写进 Iceberg 元数据;同月 DuckDB 生态密集迭代。一慢一快两条线,指向同一个趋势:数据平台的竞争正从搬运数据转向元数据契约。

📄 正文

2026 年 10 月,数据基础设施圈发生了两件看似不相干的事:Pinterest 公开了用事件时间水位线给 PB 级 CDC 数据分区「定稿」的机制;DuckDB 生态的月度通讯里,AI 问答、PEG 解析器、异步 S3 读取排着队登场。

一慢一快,一重一轻,但指向同一个判断:数据平台的竞争,已经从「把数据搬进来」,转向「什么时候能放心用」。而这道题的答案,正在往元数据里写。

🌊 流进湖里的数据,永远差一笔

流式数据最尴尬的地方,是它永远不会自己说「我完了」。

想象一个 Pinterest 这样的场景:数据库变更(CDC)持续不断地流入数据湖,规模是 PB 级,管道 7×24 小时不停。下游的分析作业每天都要回答一个问题——今天这一批数据,能不能跑了?跑早了,迟到的事件没到,报表缺一块;跑晚了,时效性崩掉,业务方投诉。

过去这个判断基本靠「拍」。要么设一个经验性的固定延迟,比如等 6 小时再跑;要么安排人盯着监控,看事件速率掉下来了就手动触发。这两种做法在数据量小的时候都能活,但在 PB 级的持续摄入面前,成本和事故率都会指数级放大——因为数据的迟到模式根本不是均匀分布的,大促、时区切换、上游故障,每一次都会打破假设。

这类事故在业界并不新鲜。Apache Flink 官方文档将事件时间下的乱序与迟到数据处理列为流式作业的核心难题之一,水位线参数的标定被明确标注为「需要根据业务数据特性反复调整」;各云厂商的实时数仓最佳实践指南里,「迟到数据导致下游少算、再整段重跑」也是被反复提示的典型反模式。缺的不是算力,是一个「权威的完工信号」。

Pinterest 的解法,是把这个信号交给时间本身:用 Apache Flink 追踪事件时间,计算水位线,再通过 Apache Iceberg 的元数据发布一条「不回退」的水位线,供下游作业判断持续摄入的 CDC 数据何时足够完整、可以安全处理。

这里的产业逻辑很清晰:完整性判定从「人和经验」迁移到了「引擎和元数据」。这不是一个新概念,但在 PB 级生产环境里把它做扎实,和 PPT 里画个框,是两回事。

📐 水位线的命门:只能前进,不能回退

水位线这个东西,Flink 用户其实都很熟悉——难的不是算出来,而是「怎么让下游敢信」。

核心技术点是两个。第一,「不回退」:水位线一旦发布就只向前走,哪怕某天突然涌进一批迟到很久的旧事件,水位线也不会倒退。这保证了下游所有基于水位线的判断都是单调可靠的,不会出现「昨天认为数据到齐了,今天又收回了」这种灾难性摇摆。第二,「发布位置」:水位线不是写在 Flink 作业内部的状态里,而是通过 Iceberg 元数据发布出去。这意味着任何能读这张表的工具——Spark、Trino、甚至一条 SQL——都能直接读到「当前数据完整到什么时间点」。

整条链路可以概括成这样:

把 Pinterest 的做法和常见的几种定稿策略放在一起看,差异就出来了:

定稿策略完整性依据典型风险
固定延迟经验值拍脑袋数据迟到即缺数
人工触发值班同学目测不可复制,人走知识走
事件时间水位线引擎推断+元数据发布需要处理好迟到数据

注意第三行的「需要处理好迟到数据」——这不是缺点被抹掉了,而是被收敛成了一个明确的、可管理的工程问题:水位线照常前进,迟到数据走修正路径。风险从「不可知」变成了「可枚举」。

这个设计的产业含义在于:Iceberg 这类开放表格式,正在承担它设计之初没人完全预料到的角色——不只是数据容器,更是平台之间的通信协议。水位线、快照、schema,都是这份协议的条款。谁在元数据层定义的条款越多、越清晰,谁的平台就越「不可替代」,但讽刺的是,这种不可替代性恰恰是靠最开放的方式实现的。

🦆 同一个月,DuckDB 生态在快进

轻量的那一头,节奏完全是另一种画风。

DuckDB 十月的生态通讯信息量不小:在 DuckDB 和 MotherDuck 的 SQL 里直接键入 AI 问答的演示;DuckDB 2.0 引入 PEG 解析器、支持异步 S3 读取;DuckLake 的维护更新;可分析就绪的 OpenStreetMap 数据;浏览器里直接访问 OneLake;还有原生 Mac 应用。社区聚焦给了 Mark Litwintschik——这个名字在分析引擎性能评测圈是老熟人。

拆开看,最值得注意的两个信号:

一是 DuckDB 2.0 的 PEG 解析器和异步 S3 读取。前者是语言的现代化,后者才是要害——单机引擎开始认真对待对象存储。过去 DuckDB 的定位是「本地分析」,异步 S3 读取意味着它要把远端数据的延迟敏感度做进执行层,这是从桌面工具走向湖仓查询引擎的必经一步。

二是 DuckLake 的持续演进。DuckLake 的公开架构思路,本质是把「数据的账本」从数据文件里剥离出来,交给一个集中的元数据服务。数据躺在 S3,状态在元数据里——和 Iceberg 生态在做的事,方向上是暗合的。

如果把当前的分析引擎放进一张定位图,格局大致是这样的——需要说明,下面这张象限图是作者的主观判断,坐标仅为示意,供讨论参考,不构成选型建议(这里的技术门槛指使用与集成的门槛):

左下角的 DuckDB 系,靠的就是把使用门槛打到地板上,同时顺着元数据这条线往上爬;右上角的传统云数仓和开源湖仓全家桶,商业价值高但门槛也高。中间那条向上的路径,正是本月这些更新在铺的路。

而行业层面的公开动向也印证了这一点:Snowflake 和 Databricks 这两大云数仓厂商近年相继宣布支持 Iceberg 开放表格式,各家引擎围绕开放表格式互操作性的竞争明显升温。争论焦点已经不再是「单机还是分布式谁赢了」,而是变成了同一个问题——元数据放哪、谁说了算。

🤝 合流点:元数据正在变成契约层

把 Pinterest 和 DuckDB 的动作放在同一周看,巧合就变成了趋势。

Pinterest 的水位线,写在 Iceberg 元数据里;DuckLake 的账本,是独立的元数据服务;DuckDB 2.0 的异步 S3 读取,本质上也要依赖对象存储之上的元数据来定位数据。三条线,一个靶心:元数据从「数据的附属品」变成了「系统的契约层」。

这解释了一个此前被反复讨论的问题:为什么开放表格式能赢下格式战争。不是因为文件格式本身有多精妙,而是因为元数据成了各家引擎之间唯一能达成共识的语言。Flink 写的数据,Trino 能读;这个月发布的水位线,下个月的批处理作业敢信。数据流通的本质是承诺的流通,而承诺需要写下来——写在哪?元数据里。

往前推一步,这个契约层上能承载的东西还会继续增加。水位线只是「完整性」这一个维度的契约,schema 演进、数据质量指标、血缘,甚至数据合规状态,理论上都是同一层协议的候选条款。谁先把这层协议的标准定得足够好,谁就掌握下一代数据平台的接口定义权——这比引擎本身快慢多少,重要得多。

🧭 落地视角:先算账,再抄作业

最后说点实在的。Pinterest 这套机制工程上是漂亮的,但对多数团队来说,不能直接抄——水位线方案有自己的成本结构。

水位线落地的三道坎
痛点 1
迟到数据冲击水位线
→
解法
只发布不回退水位线,迟到事件走独立修正流
痛点 2
下游不知道何时可读
→
解法
水位线写进表格式元数据,随快照一起发布
痛点 3
元数据频繁提交拖慢管道
→
解法
按分区粒度聚合更新,控制提交频率

具体展开说三点:

第一,算清楚无序度的账。 水位线的松紧取决于对事件迟到模式的建模,收得太紧会频繁「误判完工」,放得太宽时效性损失。这个参数没有万能值,得用自己的数据回放去标定。

第二,想清楚修正路径。 不回退水位线的代价是必须有兜底:迟到数据怎么补、下游怎么消费修正版本,这套机制不设计好,水位线只是把事故换了种发生方式。

第三,掂量团队维护成本。 Flink 作业状态管理、Iceberg 提交频率优化,都是长期运维活,需要配备对应的平台工程能力。一个只有几 TB 数据、每天跑一次批的团队,固定延迟加监控告警,可能就是最优解——不必为了追新方案而引入自己养不起的复杂度。

三件事归结起来是一句话:水位线不是免维护的银弹。它把「数据完整性」从一个靠运维直觉把握的问题,变成了一组需要主动设计、持续标定的工程参数——收益是确定性和可复制性,代价是前置的设计投入和长期的调优负担。这笔账,每个团队都该先算再抄。

架构不分好坏,只分合不合身。Pinterest 把水位线做进 PB 级生产环境,价值不在「方案本身多先进」,而在验证了这条路在极限规模下走得通——后来者可以放心把工程风险预估调低一档。

回到开头那句判断:数据平台的下半场,比的不是谁搬得快,而是谁的元数据更值得信任。Pinterest 用不回退的水位线给数据湖补上了「完工了」这个最难说出口的信号,DuckDB 生态则在把轻量引擎往同一条元数据主线上拉。

可以预期的是,水位线这类完整性契约,很快会从各家的私有实现,变成开放表格式的公共能力。到那时候,「这批数据能不能用」这个问题,答案会直接躺在表属性里——一条 SQL 就能查。

那一天到来的速度,可能比多数人预期的要快。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)