🏢 公司C档 · NaN分
湖仓下半场,卷的是看不见的地方
📋 总体概括
Spark 4.3 在 Real-Time Mode 中补上有状态处理,批流统一又进一步;另一边,Liquid Clustering、ZOrdering 与分区的基准对比揭示了两种未文档化的失效模式。湖仓竞争正从功能清单转向物理布局、成本与可靠性的深水区。
📄 正文
过去两年,数据行业的目光几乎全被大模型吸走。但真正决定一家公司数据成本与稳定性的,往往是湖仓里那些没人发朋友圈的东西:表怎么建、数据怎么摆、流和批要不要维护两套代码。
最近两条不太起眼的进展,恰好戳中了这两件事:Apache Spark 4.3 在 Databricks Runtime 19 中可用,Real-Time Mode 补上了有状态处理;另一篇来自 Kushal Kumar Vishwakarma 的基准测试文章,把 Delta Lake 上的三种物理布局策略拉到四类负载下硬碰硬,还挖出了两种连官方文档都没写的失效模式。
一个补实时,一个补布局——湖仓的下一次分化,很可能就在这两处。
本文由本站 AI 辅助聚合生成,原始来源如下: