🏢 公司C档 · NaN分

实时,正在搬进湖里

··约1分钟阅读

📋 总体概括

Spark 4.3 把有状态处理带进 Real-Time Mode,Pinterest 用水位线解决 PB 级 CDC 的分区终局化,DuckDB 生态则从单机反向打通数据湖。三条线指向同一个判断:流批之争的胜负手,正在从引擎速度转移到湖仓表格式与元数据协议上。

📄 正文

做数据平台的人都有一个共同的噩梦:下游作业到底什么时候能跑?

过去一个月,三条看似不相关的技术动态给了同一个答案的方向——Apache Spark 4.3 把有状态处理正式带入 Real-Time Mode;Pinterest 公开了基于事件时间水位线的 PB 级分区终局化机制;DuckDB 生态则继续把单机分析引擎往数据湖深处推。实时、正确性、轻量化,三条线正在汇入同一个湖。我的判断很直接:流批之争的下半场,胜负手不再是引擎跑得多快,而是表的元数据协议能不能把"实时"变成可判定、可治理的东西。

⚡ Spark 终于把"实时"当真了

先说最大的那条鱼。Apache Spark 4.3 正式发布,最关键的更新是:有状态处理(stateful processing)进入 Real-Time Mode,并且在 Databricks Runtime 19 中开箱可用。

这句话信息量很大。Spark 的实时能力过去一直被吐槽是"微批的实时"——几十秒一个批次,延迟敏感的业务看不上,真正的流式场景都跑去 Apache Flink。而 Real-Time Mode 加上原生有状态处理,意味着 Spark 第一次在架构层面承认:流不是批的一种退化形态,而是需要独立运行时语义的一等公民。

对 Databricks 来说,这一步棋同样关键。Runtime 19 绑定 Spark 4.3,等于把实时能力直接塞进了自家湖仓平台的默认运行时里。据多位接近 Databricks 生态的工程师私下反馈,Real-Time Mode 从预览到 GA 的节奏比社区预期快了不少——平台厂商在实时这件事上已经没有耐心再等了,因为客户等不起。

产业逻辑层面,这意味着流计算市场格局被重新撬动:Flink 在"纯流"上的心智优势还在,但 Spark 拥有的是存量规模。大多数企业不会为了实时单独再养一套 Flink 集群,如果 Spark 自己能做好实时,迁移成本就是决定性变量。实时计算的竞争,正在从"谁更快"变成"谁让用户少维护一套系统"。

🔍 Pinterest 的水位线:PB 级数据何时算"到齐"

实时化最难的从来不是写入快,而是下游怎么知道"数据够完整了"。

Pinterest 最近公开了其数据库接入框架的事件时间分区终局化机制,作者 Leela Kumili。这套机制的思路值得所有做 CDC 链路的团队细看:用 Apache Flink 追踪事件时间,再借助 Apache Iceberg 的元数据发布一个非回退(non-regressing)的水位线。下游作业据此判断——持续流入的 CDC 数据,什么时候已经"足够完整",可以放心进入批处理。

这是什么量级的问题?Pinterest 的接入是 PB 级的。在这种规模下,晚到数据、乱序数据、上游数据库的主从延迟,任何一样都会让下游的聚合结果出错。传统的做法要么靠人拍脑袋定延迟窗口,要么靠调度系统按日历时间硬切——前者靠玄学,后者靠运气。

这套机制的精髓在于把"完整性"从运维经验变成了元数据协议。水位线写在 Iceberg 的元数据里,非回退保证了它不会因为上游抖动而倒退,任何下游消费者读表就能拿到可信的进度信号。这是我在工程一线最欣赏的那种设计:不追求极致的低延迟,而是追求可判定性——让机器而不是人,来回答"现在能不能跑"。

产业逻辑上,这件事的信号意义大于技术本身:水位线这种原本活在流计算引擎内部的机制,第一次被"搬"到了开放表格式上。流计算的语义,正在从引擎私有能力变成湖仓公共协议。谁掌握了表的元数据语义,谁就掌握了流批融合的话事权。

实时湖仓:看得见与看不见的
Real-Time Mode:Spark 4.3 有状态处理进入实时模式
水位线终局化:Pinterest 的分区完整性判定机制
SQL 里问 AI:DuckDB 与 MotherDuck 的 AI 问答体验
~ 水面线 · 大众看得见的部分到此为止 ~
开放表格式元数据:Iceberg / DuckLake 承载进度与语义信号
解析器重构:DuckDB 2.0 的 PEG parser 底层重写
异步对象存储 IO:async S3 reads 决定湖上查询的真实速度

🦆 DuckDB:小引擎反向吃掉大湖

别只盯着巨头,小引擎这边的动静同样值得警惕。

DuckDB 十月的生态月报信息密度很高:用户已经可以在 DuckDB 和 MotherDuck 的 SQL 里直接输入问题拿 AI 答案;DuckDB 2.0 换上了 PEG parser(解析表达式文法解析器),这是查询入口层的底层重写;async S3 reads(异步对象存储读取)落地,湖上查询的真实吞吐有了实质提升;DuckLake 持续维护迭代,分析就绪的 OpenStreetMap 数据、浏览器里的 OneLake、原生 Mac 应用也一并到位。

把这些点连起来看,是一条非常清晰的反向路径:传统湖仓是"大集群吃小查询",DuckDB 是"小引擎直接下湖"。async S3 reads 解决的是单机引擎访问对象存储的性能天花板,DuckLake 解决的是湖上数据的目录与一致性管理,AI 问答则在降低最后一公里的使用门槛。一个分析师,一台笔记本,一个 DuckLake 目录,就能对湖上的数据做正经分析——这在三年前是不可想象的架构。

据社区里的老朋友说,Mark Litwintschik 这期作为社区人物被月报专门 spotlight,他在单机大数据基准分析上的持续输出,某种程度上代表了这一派的世界观:大多数分析负载,根本不需要一个集群。

产业逻辑上,DuckDB 的崛起揭示了一个反直觉的事实:湖仓架构把存储和计算解耦之后,计算端的准入门槛反而降低了。开放表格式(Iceberg、DuckLake 背后的湖目录思路)是公共资产,谁都可以写一个引擎来读。巨头们建好的湖,正在变成所有引擎的公地。

🧭 三条线汇合处:竞争正转向表的语义

把三条线放在一张图上,格局会看得更清楚。

Spark 和 Flink 占据高技术门槛、高商业价值的领跑象限,但两者打法已经不同:Flink 卖的是流的原生语义,Spark 卖的是"一套引擎全覆盖"的整合价值。DuckDB 卡在中间偏潜力股的位置,技术门槛不高但成长斜率惊人。传统数仓则停留在存量象限——能力还在,但架构叙事已经让位。

维度Spark 4.3 Real-Time ModeFlink(Pinterest 实践)DuckDB / DuckLake
核心卖点一套引擎覆盖流批原生流语义与事件时间单机轻量 + 湖目录
关键机制有状态实时处理水位线 + Iceberg 元数据PEG parser + async S3
典型规模平台级存量的实时化PB 级 CDC 接入单机到中小团队
真实瓶颈实时语义的成熟度分区终局化的判定设计大规模并发与多人协作

我给同行的建议是:选型时别再问"哪个引擎快",先问三个问题——你的完整性能不能被元数据协议表达?你的存量作业能不能在一个运行时里消化?你的团队规模是否真的需要一个集群?三个问题的答案,基本就决定了你的架构。

小结

实时不是把延迟从分钟压到秒那么简单。Spark 4.3 的 Real-Time Mode 解决的是"实时能力的普惠",Pinterest 的水位线终局化解决的是"实时数据的可判定",DuckDB 的下湖解决的是"湖仓准入的民主化"。三者殊途同归:开放表格式正在成为流批融合的公共底座,引擎竞争让位于元数据竞争。2027 年值得盯的一件事:水位线、提交协议这些流式语义,会以多快的速度被写进开放表格式标准里——谁先做成事实标准,谁就拿走下一轮定义权。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)