实时数仓的胜负手,是水位线
📋 总体概括
Spark 4.3 把有状态计算带进实时模式,Pinterest 用 Flink 加 Iceberg 水位线解决 PB 级分区的封板难题,DuckDB 则从单机侧反向渗透湖仓。三条路线指向同一个判断:实时不再是卖点,水位线和事件时间正成为数据平台的底层契约。
📄 正文
2026 年 10 月的三条新闻,看似各说各话,其实指向同一件事。
Apache Spark 4.3 正式发布,把有状态处理带进了 Real-Time Mode;Pinterest 公开了自家 PB 级数据摄取框架的分区定稿机制,核心是事件时间水位线;DuckDB 的生态月报里,PEG 解析器、异步 S3 读取、AI 直接用 SQL 回答问题——单机分析正在反向渗透湖仓叙事。
一个在做引擎,一个在修管道,一个在卷生态,但它们都在回答同一个问题:当下游消费一张持续更新的表时,怎么知道'现在的数据够完整了'?
这个问题在过去二十年里被数仓的事务隔离、被 Lambda 架构的比对作业反复糊弄过。现在,行业给出的统一答案越来越清晰:事件时间和水位线,正在从 Flink 的内部机制,变成整个湖仓体系的公共契约。
🚀 Spark 4.3:实时不再是营销词
当实时成为一个 Runtime 模式,而不是一套并行 API,这场仗才算真正开打。
Apache Spark 4.3 最关键的更新,是把有状态处理引入 Real-Time Mode,并随 Databricks Runtime 19 一并交付。这句话值得拆开看:过去的 Spark Structured Streaming 是一个'挂在批引擎旁边的流式 API',开发者写的是 micro-batch 心智的代码,触发间隔、watermark 语义、状态后端各有各的坑。而 Real-Time Mode + 有状态处理,意味着低延迟路径上第一次有了和 Apache Flink 同台竞争的原生能力——窗口聚合、去重、模式匹配这些有状态算子,不再需要绕道。
据多位接近 Databricks 生态的工程师反馈,这背后是明确的商业动机:Lakehouse 平台最大的成本痛点从来不是存储,而是'一套数据、两套引擎'带来的双倍维护。批流合一喊了十年,真正的驱动力不是架构洁癖,是人力成本。
看清楚这条演化路径:
Structured Streaming 问世
湖仓成为流批统一底座
Real-Time Mode 启动
Spark 4.3 引入有状态处理
产业逻辑很简单:当批引擎补上流的心智,流引擎就必须证明自己在批侧不可替代。 Flink 的护城河正在从'我是唯一的真流引擎',变成'我是唯一把事件时间语义做透了十年引擎'。前者是地位,后者才是壁垒。
💧 Pinterest:PB 级分区怎么知道'够完整了'
封板时机,是实时管道里最不值钱又最难的问题。
Pinterest 的数据库摄取框架面对的是一个经典难题:CDC 数据持续不断地灌进 Apache Iceberg 表,下游的聚合、模型训练、报表作业随时可以读——但'随时可以读'意味着'读到的不一定完整'。晚到的事件、源库的重放、摄取管道的抖动,都可能让昨天那个分区的数字今天又变一遍。
他们的方案是事件时间分区定稿(partition finalization):用 Apache Flink 追踪事件时间,通过 Apache Iceberg 元数据发布一个不回退的水位线(non-regressing watermark)。下游作业只需要问一句:'这个分区的时间点,水位线走过去了吗?'走过了,就说明该分区大概率不会再有新数据写入,可以放心定稿、放心聚合、放心交付给业务。
这个机制的精妙之处在于'不回退'三个字。水位线一旦发布就单调递增,下游永远不需要回滚自己的判断——这是把流处理里的 watermark 语义,从引擎内部搬到了表元数据层,变成了跨引擎、跨团队的公共契约。
工程视角再算一笔账:在 PB 级规模下,'重跑一遍'是按小时计的成本,'定稿错了'是按信任计的代价。 水位线把这两个成本同时压了下来。据业内数据平台的资深从业者私下说,这套思路在不少大厂数据组里都有类似的原型,Pinterest 是第一个把它完整写成公开方案的——公开本身就是生态动作,是在为 Iceberg 的元数据层加码。
🦆 DuckDB:另一条战线在打'轻'
当大厂在卷实时,小团队在用一条 SQL 卷走整个分析层。
DuckDB 十月生态月报里藏着几个值得盯的信号:DuckDB 2.0 换上了 PEG 解析器,异步 S3 读取让'直接查云上对象存储'的体验又快了一截;用户已经在 DuckDB 和 MotherDuck 的 SQL 里直接打字问 AI 拿答案——分析入口正在从'写查询'变成'提问题';再加上 DuckLake 的持续维护、开箱即用的 OpenStreetMap 分析数据、浏览器里的 OneLake 体验、原生 Mac 应用,单机分析的'最后一公里'被铺得越来越平。
这和大厂叙事是反着来的。Spark、Flink、Iceberg 在解决'PB 级、多团队、持续摄取'的问题;DuckDB 在解决'一个人、一台机器、零运维'的问题。但两条线正在合流:DuckLake 的分离存储架构、异步 S3 读取,本质上都是让单机引擎直接骑在湖仓的存储层上。小团队不再需要为了'以后可能上 PB'预付一套分布式平台的复杂度税。
据社区里的普遍观察,越来越多中型公司的内部工具、临时分析、甚至部分准生产报表,已经悄悄从'起一个 Spark 集群'迁移到了'一个 DuckDB 进程'。这个渗透是自下而上的,厂商的份额报告里看不见,但它真实存在。
三条路线的竞争格局,可以这样定位:
📊 事件时间:从引擎内部走向表契约
过去事件时间是 Flink 的私产,现在它是湖仓的公共设施。
把三条新闻放在一起看,一个清晰的产业判断浮出水面:事件时间和水位线正在完成一次'层间迁移'。
| 路线 | 代表 | 事件时间的角色 | 典型场景 |
|---|---|---|---|
| 引擎内流处理 | Apache Flink | 算子级 watermark | 实时风控、实时聚合 |
| 平台实时模式 | Apache Spark 4.3 | Runtime 级有状态语义 | 湖仓内批流统一 |
| 表元数据契约 | Pinterest 方案 | Iceberg 元数据中的水位线 | 分区定稿、下游信任 |
| 单机湖仓直查 | DuckDB / DuckLake | 消费侧按快照读 | 个人与中小团队分析 |
底层逻辑是:湖仓的本质是'一份数据、多方并发读写',而并发的信任问题只能靠时间语义解决。 批时代的解决方案是'跑完再发布',代价是延迟;Lambda 架构的解决方案是'流批各算一遍再对账',代价是双倍成本;而水位线方案是'数据自己声明自己的完整度',代价几乎为零——只需要在元数据里多写一个值。
这就是为什么 Pinterest 的方案值得所有数据平台团队研究:它没有发明新引擎,只是把 Flink 十年磨出来的时间语义,通过 Iceberg 元数据'外溢'给了整个下游生态。未来衡量一个湖仓平台是否成熟,可能不再是 TPC-DS 跑分,而是'你的表会不会自己说:我现在可以信了'。
这个趋势的潜在痛点与解法,可以归纳为:
⚙️ 给工程团队的判断:现在该押什么
水位线不是新概念,但'水位线进元数据'是新机会。
给几个务实建议。
第一,如果你的管道还在用'调度时间驱动分区定稿',该换事件时间了。调度时间是'作业什么时候跑完',事件时间是'数据到底属于什么时候'——前者在源库抖动时会系统性地给出错误答案。Pinterest 的方案证明了这在 PB 级是可落地的,不需要发明轮子,Flink 加 Iceberg 元数据即可搭建原型。
第二,评估 Spark 4.3 实时模式时,别只看延迟数字。真正要评估的是:你有状态逻辑的规模、容错语义的要求,以及团队从 micro-batch 心智迁移的成本。对大多数'分钟级延迟就够'的场景,它可能是成本最低的收敛路径;对秒级严格语义的老 Flink 用户,迁移未必划算。
第三,中小团队别被实时叙事绑架。DuckDB 生态的爆发说明,'够用的快'比'架构上先进'更值钱。先用单机引擎把分析跑起来,等数据真到了那个量级,DuckLake 这类分离存储架构会给你留好迁移通道。
据多位数据平台负责人的共识:2026 年之后,'实时'会像列式存储一样从卖点变成默认项,届时真正的差异化将集中在时间语义的完整性上——谁的表能更诚实地声明自己的完整度,谁就赢得下游的信任。
小结。 Spark 4.3 补上了批引擎的流式短板,Pinterest 把水位线写进了 Iceberg 元数据,DuckDB 从单机侧反向渗透——三条线殊途同归:数据平台的竞争正在从'算得快'转向'信得过'。事件时间从引擎内部走向表契约,是这个转变最实在的信号。下一步值得盯的是:主流湖仓格式会不会把水位线语义标准化进规范,以及 AI 驱动的分析入口会不会反过来要求更强的数据'新鲜度声明'。信任,正在成为数据基础设施的下一代货币。
本文由本站 AI 辅助聚合生成,原始来源如下: