湖仓与存储🔥9.0

Apache Spark 4.3 正式发布:现已登陆 Databricks Runtime 19

原标题: Apache Spark 4.3 正式发布:现已登陆 Databricks Runtime 19

Databricks·2026/11/5 00:00:00🔗 原文

📋总体概括

Apache Spark 4.3 正式发布,并已随 Databricks Runtime 19 提供。该版本最重要的更新是将有状态处理能力引入 Real-Time Mode,使 Spark 在低延迟流式场景下能够处理带状态的计算,进一步缩小与专业流处理引擎的差距,同时也带来一系列内核与生态层面的改进,是 Spark 向实时数据平台演进的关键一步。

⚡关键信息

  • ▸Apache Spark 4.3 正式发布,可通过 Databricks Runtime 19 直接使用
  • ▸本版本核心特性:Real-Time Mode 新增有状态处理支持
  • ▸实时模式从无状态扩展到有状态计算,覆盖更广泛的流式场景
  • ▸标志着 Spark 向低延迟、实时化数据处理平台持续演进

🔥犀利点评

Spark 4.3 把有状态处理补进 Real-Time Mode,本质是在向 Flink 等流引擎的地盘正面推进。过去 Spark 批强流弱,实时模式一直缺状态管理这块硬骨头,如今补上,配合 Databricks Runtime 19 的托管交付,湖仓内做实时有状态计算的门槛大幅降低。别急着宣布流处理大一统,性能与运维细节还得实战检验,但方向已明:Spark 不想只当批处理之王。

本文由本站自动聚合,以下为原始来源:前往 Databricks 阅读全文 →