湖仓与存储集成与管道开源评论分析· 4167 字· 约7分钟阅读

Pinterest把迟到数据算明白了

A
AI编辑团队AI 原创内容
2026-11-08 06:25 发布· 本文由作者与AI协作完成
本内容由人工智能生成,仅供研究参考,不构成投资建议。
💡

Pinterest用Flink追踪事件时间、把非回退水位线写进Iceberg元数据,解决了PB级CDC摄入中'分区何时算齐'的老难题;同期DuckDB生态沿轻量路线快速演进。一重一轻之间,湖仓竞争正从引擎层上移到元数据与语义层,完整性信号将成为数据平台的新契约。

大数据圈吵了十年批流一体,真正卡住生产的,其实是一个很土的问题:一个分区里的数据,什么时候才算「齐」?2026年10月,Pinterest给出了自己的工程答案——用Apache Flink追踪事件时间,把非回退水位线写进Apache Iceberg元数据。几乎同一时间,DuckDB生态十月月报发布,轻量分析栈在另一端快速生长。一重一轻,湖仓下半场的分野,正在变得清晰。

🐢 迟到数据,湖仓的隐形税

大厂数据平台的可靠性预算,一大半花在对账和重跑上。

先看场景。Pinterest是全球级的图片发现平台,用户每一次保存、点击、推荐曝光,都在源源不断产生事件;与此同时,数据库的变更也要通过CDC持续摄入。这意味着它的数据管道永远「在路上」——数据是petabyte规模的,且天然乱序,你永远等不到那个「最后一条」。据InfoQ作者Leela Kumili的报道,Pinterest为其数据库摄入框架引入了基于事件时间的分区定稿(partition finalization)机制。

旧做法是什么?很简单粗暴:定时收口。T+1凌晨两点,调度系统把昨天的分区标记为ready,下游批作业开跑。可迟到数据呢?要么落进下一个分区,造成指标口径漂移;要么干脆被截断,等着人工对账、补数、重跑。petabyte规模下,一次补数据的成本不是跑个脚本,而是一场小规模战役。

这不是算力问题,是信息问题。下游作业缺的不是机器,而是一个可信的信号:这个分区的数据是否已经足够完整。定时收口的本质是「用钟表猜数据」,而Pinterest的新机制是「用数据本身说话」——用Flink追踪事件时间,用Iceberg元数据发布一个不会回退的水位线,下游据此判断何时可以安全开工。

多位一线平台工程师私下吐槽过同一件事:数据平台的SLA事故里,纯计算故障占比远低于「数据没齐就开跑」这类完整性事故。前者有监控,后者只有事后吵架。

⚙️ 一条水位线,怎么写进元数据

好架构的标志,是把一个模糊的问题变成一个可计算的信号。

拆解一下这套机制。事件时间,指业务事实真正发生的时刻,而不是数据到达管道的时刻;水位线(watermark),本质是「系统目前观察到的最大事件时间,减去一段允许乱序的延迟」,它是一个单调推进的时钟。所谓非回退(non-regressing),意味着即便流式作业重启、回放历史数据,下游看到的时钟也不会倒流——这是水位线机制在生产环境里最容易被忽视、也最容易翻车的地方。

而真正有想象力的动作,是把水位线发布到Apache Iceberg元数据里。这带来三个直接后果:

第一,信号与数据同源。水位线不再是某个Flink作业内存里的临时状态,而是和表数据一样存储、可审计的元数据,作业重启不丢、口径不漂。第二,引擎无关。批作业、湖上查询、下游调度,谁都可以读这个信号,不绑定任何执行引擎。第三,契约化。「分区何时可读」从每个下游自谋出路,收敛为平台级契约——这正是数据平台从「一堆管道」走向「一个有承诺的系统」的分水岭。

三种完整性处理思路,差别可以用一张表看清:

处理模式完整性判断依据迟到数据的命运典型代价
定时收口墙上时钟(调度时间)截断或落入下个分区对账与重跑成本高
各下游自设延迟窗口每个作业自己拍参数口径不一,互相打架维护成本随作业数增长
事件时间水位线定稿数据本身+统一元数据在水位线内被容纳需要流式基础设施与元数据治理

Pinterest的方案属于第三类,而且是第三类里最扎实的一种——它把「齐没齐」从运维经验变成了元数据事实。

🦆 DuckDB这边:把湖「读轻」

轻,不是玩具的专利,而是一种架构选择。

把视线转到光谱另一端。2026年10月的DuckDB生态月报信息量不小:Jev演示了在DuckDB和MotherDuck的SQL里直接键入AI回答,把对话式问答嵌进了分析工作流;DuckDB 2.0带来了PEG解析器和异步S3读取——后者意味着查询对象存储上的数据时,网络等待可以被并发隐藏起来;DuckLake持续维护更新;还有分析就绪的OpenStreetMap数据、浏览器里的OneLake,以及一个原生Mac应用。社区聚焦给了长期做数据库基准测试的Mark Litwintschik。

单看每一条都是常规更新,连起来看就是一个信号:嵌入式引擎正在把「湖」当成内存的延伸。异步S3读取解决的是远端数据的读取延迟;PEG解析器是为更复杂的语法生态铺路;AI问答进SQL,是把「不会写SQL的人」拉进分析栈——这是在从下往上蚕食传统BI的地盘。

另一边,OneLake进浏览器,说明微软这样的重型玩家也愿意把湖仓的前端做轻,让用户不装任何客户端就能在网页里摸到湖上的数据。

一重一轻,看似两个世界,其实共享同一个底座:开放表格式。Pinterest的水位线写在Iceberg元数据里,DuckDB读的也是湖上开放格式的数据。重型流处理在补元数据契约,轻型查询在吃湖上开放格式,两条路线正在中间会合。

🗺️ 两极分化,中间地带在消失

湖仓战争打到最后,打的不是引擎,是元数据。

把当前的湖仓分析栈摆到一张图上看,格局相当清楚:

右上角的Apache Flink和Apache Iceberg是当之无愧的领跑者:技术门槛高,但它们支撑的正是petabyte级平台最痛的完整性问题,商业价值无可替代。DuckDB和MotherDuck卡在潜力股的位置——单机到云端,门槛不算高,但价值曲线还在陡峭上扬,AI问答进SQL和原生Mac应用都在拓宽它的受众面。左下角的DuckLake押注的是「元数据做lake」的轻量架构,赌的是未来。而传统MPP数仓,正躺在存量玩家的象限里,靠已有合同续命。

产业逻辑很简单:表格式已经收敛为公共底座(Iceberg成为事实标准,DuckLake走自己的元数据路线),引擎层的差异化空间被压缩。竞争正在上移一层——谁掌握「信号与语义」,谁就掌握下游的调度权。Pinterest这次发布,本质上不是发布了一个功能,而是发布了一种平台契约。

据接近多家大厂数据平台团队的人士透露,不少公司已经把「分区就绪信号是否元数据化」列进了数据平台的年度验收标准,内部原话是:别再让调度系统替数据猜时间了。

⚠️ 落地者该押哪边

选型别问哪个火,先问迟到数据怎么办。

对正在搭平台的工程师,这张问题-方案对照表可能比任何评测报告都实用:

分区收口的工程难题与解法
痛点 1
定时收口拍脑袋,迟到数据被截断
→
解法
用Flink追踪事件时间,以水位线判断数据是否足够完整
痛点 2
流式作业重启后水位线倒退,下游重复计算
→
解法
水位线写入Iceberg元数据,保证非回退
痛点 3
各下游自行判断可读时机,口径不一
→
解法
平台统一发布水位线信号,引擎无关、全员共享
痛点 4
交互分析栈过重,中小团队用不起
→
解法
DuckDB加对象存储直读,把湖当内存的延伸

三条具体判断:第一,如果你的管道有持续CDC摄入、下游靠批作业消费,Pinterest这套「事件时间定稿」值得直接抄作业——Flink加Iceberg都是成熟开源件,难点在治理不在组件。第二,如果你的主场景是交互式分析和中小规模数据,DuckDB加异步S3直读的路线,成本优势是数量级的。第三,也是最重要的:别急着在批和流之间二选一,先把表格式统一到开放格式上——底座统一了,上面的引擎才有替换自由。

再把视角拉到AI。训练数据集和RAG语料的完整性要求,比传统报表严格得多:缺一块数据,模型可能就是系统性偏的。「数据什么时候算齐」这个信号,正在从数仓运维需求,升级为Data for AI的刚需基础设施。Pinterest这一次的工程实践,很可能只是个开始。

数据完整性,这个被概念泡沫淹没多年的老话题,正在以「元数据信号」的形式回到舞台中央。Pinterest用Flink加Iceberg把重端做扎实,DuckDB生态把轻端做顺手,两端共享开放表格式这个底座。2027年值得盯的一件事:水位线这类完整性信号,会不会成为开放表格式元数据的下一个标准字段。谁先把它做成默认能力,谁就握住了下游的调度权。