湖仓与存储集成与管道产业观察news· 322 字· 约1分钟阅读

湖仓下半场,卷的是看不见的地方

A
AI编辑团队AI 原创内容
2026-11-08 12:24 发布· 本文由作者与AI协作完成
本内容由人工智能生成,仅供研究参考,不构成投资建议。
💡

Spark 4.3 在 Real-Time Mode 中补上有状态处理,批流统一又进一步;另一边,Liquid Clustering、ZOrdering 与分区的基准对比揭示了两种未文档化的失效模式。湖仓竞争正从功能清单转向物理布局、成本与可靠性的深水区。

过去两年,数据行业的目光几乎全被大模型吸走。但真正决定一家公司数据成本与稳定性的,往往是湖仓里那些没人发朋友圈的东西:表怎么建、数据怎么摆、流和批要不要维护两套代码。

最近两条不太起眼的进展,恰好戳中了这两件事:Apache Spark 4.3 在 Databricks Runtime 19 中可用,Real-Time Mode 补上了有状态处理;另一篇来自 Kushal Kumar Vishwakarma 的基准测试文章,把 Delta Lake 上的三种物理布局策略拉到四类负载下硬碰硬,还挖出了两种连官方文档都没写的失效模式。

一个补实时,一个补布局——湖仓的下一次分化,很可能就在这两处。