Pinterest把迟到数据算明白了
📋 总体概括
Pinterest用Flink追踪事件时间、把非回退水位线写进Iceberg元数据,解决了PB级CDC摄入中'分区何时算齐'的老难题;同期DuckDB生态沿轻量路线快速演进。一重一轻之间,湖仓竞争正从引擎层上移到元数据与语义层,完整性信号将成为数据平台的新契约。
📄 正文
大数据圈吵了十年批流一体,真正卡住生产的,其实是一个很土的问题:一个分区里的数据,什么时候才算「齐」?2026年10月,Pinterest给出了自己的工程答案——用Apache Flink追踪事件时间,把非回退水位线写进Apache Iceberg元数据。几乎同一时间,DuckDB生态十月月报发布,轻量分析栈在另一端快速生长。一重一轻,湖仓下半场的分野,正在变得清晰。
🐢 迟到数据,湖仓的隐形税
大厂数据平台的可靠性预算,一大半花在对账和重跑上。
先看场景。Pinterest是全球级的图片发现平台,用户每一次保存、点击、推荐曝光,都在源源不断产生事件;与此同时,数据库的变更也要通过CDC持续摄入。这意味着它的数据管道永远「在路上」——数据是petabyte规模的,且天然乱序,你永远等不到那个「最后一条」。据InfoQ作者Leela Kumili的报道,Pinterest为其数据库摄入框架引入了基于事件时间的分区定稿(partition finalization)机制。
旧做法是什么?很简单粗暴:定时收口。T+1凌晨两点,调度系统把昨天的分区标记为ready,下游批作业开跑。可迟到数据呢?要么落进下一个分区,造成指标口径漂移;要么干脆被截断,等着人工对账、补数、重跑。petabyte规模下,一次补数据的成本不是跑个脚本,而是一场小规模战役。
这不是算力问题,是信息问题。下游作业缺的不是机器,而是一个可信的信号:这个分区的数据是否已经足够完整。定时收口的本质是「用钟表猜数据」,而Pinterest的新机制是「用数据本身说话」——用Flink追踪事件时间,用Iceberg元数据发布一个不会回退的水位线,下游据此判断何时可以安全开工。
多位一线平台工程师私下吐槽过同一件事:数据平台的SLA事故里,纯计算故障占比远低于「数据没齐就开跑」这类完整性事故。前者有监控,后者只有事后吵架。
⚙️ 一条水位线,怎么写进元数据
好架构的标志,是把一个模糊的问题变成一个可计算的信号。
拆解一下这套机制。事件时间,指业务事实真正发生的时刻,而不是数据到达管道的时刻;水位线(watermark),本质是「系统目前观察到的最大事件时间,减去一段允许乱序的延迟」,它是一个单调推进的时钟。所谓非回退(non-regressing),意味着即便流式作业重启、回放历史数据,下游看到的时钟也不会倒流——这是水位线机制在生产环境里最容易被忽视、也最容易翻车的地方。
而真正有想象力的动作,是把水位线发布到Apache Iceberg元数据里。这带来三个直接后果:
第一,信号与数据同源。水位线不再是某个Flink作业内存里的临时状态,而是和表数据一样存储、可审计的元数据,作业重启不丢、口径不漂。第二,引擎无关。批作业、湖上查询、下游调度,谁都可以读这个信号,不绑定任何执行引擎。第三,契约化。「分区何时可读」从每个下游自谋出路,收敛为平台级契约——这正是数据平台从「一堆管道」走向「一个有承诺的系统」的分水岭。
三种完整性处理思路,差别可以用一张表看清:
| 处理模式 | 完整性判断依据 | 迟到数据的命运 | 典型代价 |
|---|---|---|---|
| 定时收口 | 墙上时钟(调度时间) | 截断或落入下个分区 | 对账与重跑成本高 |
| 各下游自设延迟窗口 | 每个作业自己拍参数 | 口径不一,互相打架 | 维护成本随作业数增长 |
| 事件时间水位线定稿 | 数据本身+统一元数据 | 在水位线内被容纳 | 需要流式基础设施与元数据治理 |
Pinterest的方案属于第三类,而且是第三类里最扎实的一种——它把「齐没齐」从运维经验变成了元数据事实。
🦆 DuckDB这边:把湖「读轻」
轻,不是玩具的专利,而是一种架构选择。
把视线转到光谱另一端。2026年10月的DuckDB生态月报信息量不小:Jev演示了在DuckDB和MotherDuck的SQL里直接键入AI回答,把对话式问答嵌进了分析工作流;DuckDB 2.0带来了PEG解析器和异步S3读取——后者意味着查询对象存储上的数据时,网络等待可以被并发隐藏起来;DuckLake持续维护更新;还有分析就绪的OpenStreetMap数据、浏览器里的OneLake,以及一个原生Mac应用。社区聚焦给了长期做数据库基准测试的Mark Litwintschik。
单看每一条都是常规更新,连起来看就是一个信号:嵌入式引擎正在把「湖」当成内存的延伸。异步S3读取解决的是远端数据的读取延迟;PEG解析器是为更复杂的语法生态铺路;AI问答进SQL,是把「不会写SQL的人」拉进分析栈——这是在从下往上蚕食传统BI的地盘。
另一边,OneLake进浏览器,说明微软这样的重型玩家也愿意把湖仓的前端做轻,让用户不装任何客户端就能在网页里摸到湖上的数据。
一重一轻,看似两个世界,其实共享同一个底座:开放表格式。Pinterest的水位线写在Iceberg元数据里,DuckDB读的也是湖上开放格式的数据。重型流处理在补元数据契约,轻型查询在吃湖上开放格式,两条路线正在中间会合。
🗺️ 两极分化,中间地带在消失
湖仓战争打到最后,打的不是引擎,是元数据。
把当前的湖仓分析栈摆到一张图上看,格局相当清楚:
右上角的Apache Flink和Apache Iceberg是当之无愧的领跑者:技术门槛高,但它们支撑的正是petabyte级平台最痛的完整性问题,商业价值无可替代。DuckDB和MotherDuck卡在潜力股的位置——单机到云端,门槛不算高,但价值曲线还在陡峭上扬,AI问答进SQL和原生Mac应用都在拓宽它的受众面。左下角的DuckLake押注的是「元数据做lake」的轻量架构,赌的是未来。而传统MPP数仓,正躺在存量玩家的象限里,靠已有合同续命。
产业逻辑很简单:表格式已经收敛为公共底座(Iceberg成为事实标准,DuckLake走自己的元数据路线),引擎层的差异化空间被压缩。竞争正在上移一层——谁掌握「信号与语义」,谁就掌握下游的调度权。Pinterest这次发布,本质上不是发布了一个功能,而是发布了一种平台契约。
据接近多家大厂数据平台团队的人士透露,不少公司已经把「分区就绪信号是否元数据化」列进了数据平台的年度验收标准,内部原话是:别再让调度系统替数据猜时间了。
⚠️ 落地者该押哪边
选型别问哪个火,先问迟到数据怎么办。
对正在搭平台的工程师,这张问题-方案对照表可能比任何评测报告都实用:
三条具体判断:第一,如果你的管道有持续CDC摄入、下游靠批作业消费,Pinterest这套「事件时间定稿」值得直接抄作业——Flink加Iceberg都是成熟开源件,难点在治理不在组件。第二,如果你的主场景是交互式分析和中小规模数据,DuckDB加异步S3直读的路线,成本优势是数量级的。第三,也是最重要的:别急着在批和流之间二选一,先把表格式统一到开放格式上——底座统一了,上面的引擎才有替换自由。
再把视角拉到AI。训练数据集和RAG语料的完整性要求,比传统报表严格得多:缺一块数据,模型可能就是系统性偏的。「数据什么时候算齐」这个信号,正在从数仓运维需求,升级为Data for AI的刚需基础设施。Pinterest这一次的工程实践,很可能只是个开始。
数据完整性,这个被概念泡沫淹没多年的老话题,正在以「元数据信号」的形式回到舞台中央。Pinterest用Flink加Iceberg把重端做扎实,DuckDB生态把轻端做顺手,两端共享开放表格式这个底座。2027年值得盯的一件事:水位线这类完整性信号,会不会成为开放表格式元数据的下一个标准字段。谁先把它做成默认能力,谁就握住了下游的调度权。
本文由本站 AI 辅助聚合生成,原始来源如下: