湖仓补齐事务短板:数仓壁垒加速瓦解
执行摘要:Databricks宣布基于Delta Lake的多语句事务正式商用,Lakehouse架构首次以ACID语义支持跨表、多语句事务与并发写入,补齐长期落后的核心能力。这将直接冲击Snowflake、Teradata等传统数仓厂商的技术护城河,湖仓与数仓的竞争边界进一步模糊。本报告从产业格局、产业链、竞争态势与趋势四个维度,分析湖仓与存储领域的技术演进与市场走向。
现状与格局:湖仓vs数仓
一、两条技术路线的分野
过去十年,企业数据分析基础设施形成了两条清晰的技术路线:以 Snowflake、Teradata、Greenplum 为代表的传统 MPP 数据仓库,以及以 Databricks 为代表、构建在 Delta Lake 之上的湖仓一体架构。两者的分野并非简单的产品差异,而是源于不同的架构哲学。
传统 MPP 数仓诞生于“存算耦合”时代(后期演进为存算分离),其核心竞争力建立在三类能力之上:强 ACID 事务保障、成熟的 SQL 优化器与并发控制,以及面向 BI 与报表场景的高稳定 SLA。这些能力经过数十年打磨,构成了所谓“数仓壁垒”。
湖仓路线则从数据湖出发,通过 Delta Lake 等事务性表格式,在开放存储格式之上逐步叠加仓库级能力。其优势在于开放格式、存算分离的弹性成本结构,以及对 AI/ML 工作负载的原生支持。但长期以来,湖仓在事务能力上存在明显短板:早期仅支持单表级别的 ACID 语义,无法跨多表、多语句执行事务,这正是增量批处理、并发写入与回滚等数仓核心场景的刚需。
二、多语句事务 GA:壁垒的实质性松动
Databricks 宣布 Multi-Statement Transactions(多语句事务)正式商用(GA),用户可在 Delta Lake 上以 ACID 语义跨多张表执行多语句事务,覆盖增量批处理、并发写入与回滚等关键场景。这一能力的行业意义在于:
第一,事务一致性不再是数仓的专属优势。 跨表、跨语句的事务能力长期被视为数仓与湖仓之间最难以逾越的技术鸿沟之一。此前湖仓用户若需多表原子写入,往往要借助应用层补偿逻辑或编排工具,既复杂又不可靠。GA 意味着该能力进入生产可用阶段。
第二,迁移与替换的成本门槛显著降低。 企业从传统数仓向湖仓迁移时,最大的顾虑之一便是事务语义的差异会导致业务逻辑重写。多语句事务商用后,“数仓级正确性 + 湖仓级开放性”的组合成为可能,Snowflake、Teradata 等厂商的核心卖点被直接侵蚀。业界普遍将其解读为对仓类厂商的正面回击。
第三,竞争焦点从“补短板”转向“比长板”。 当湖仓补齐事务能力后,两大阵营的功能重叠度大幅提高,竞争将更多转向 AI 工作负载支持、开放生态、成本效率等差异化维度。
- 强ACID事务
- 成熟SQL优化器
- 高稳定BI SLA
- 开放表格式
- 存算分离弹性成本
- AI/ML原生支持
三、市场格局:阵营边界趋于模糊
当前的市场竞争可从两个维度观察:技术门槛(事务、并发、优化器等硬能力的积累深度)与商业价值(对核心数据平台预算的争夺能力)。
- Snowflake 凭借多年积累的事务与查询能力,仍处于高技术门槛、高商业价值的领跑者区间,但正面临湖仓阵营从 AI 场景侧翼的挤压;
- Databricks 借多语句事务 GA 快速上移,技术门槛差距缩小,叠加 AI/ML 生态优势,定位从“潜力股”向“领跑者”跃迁;
- Teradata 等传统一体机厂商则退守存量市场,客户基础稳固但增长承压,处于跟随者与存量玩家之间;
- 云厂商原生数仓(如各云的托管仓服务)凭借渠道与集成优势占据中间地带。
四、本章小结
多语句事务的 GA 并非单一功能发布,而是湖仓与数仓两大阵营力量对比变化的标志性事件:数仓赖以立足的“事务壁垒”被实质性瓦解,湖仓则以开放格式与 AI 原生能力反向施压。可以预期,未来 2-3 年内,两大阵营将在功能上进一步趋同,竞争的决定因素将从“能否做到”转向“以何成本、何种生态做到”。下一章将深入剖析这一转变背后的技术实现路径。
技术演进:事务能力的迁移
一、ACID 事务:从数仓专属到湖仓标配
在数据基础设施领域,ACID 事务(原子性、一致性、隔离性、持久性)长期被视为传统数据仓库的“护城河”。以 Snowflake、Teradata 为代表的 MPP 数仓厂商,凭借成熟的事务处理能力,在企业关键分析负载中建立了难以撼动的技术壁垒。而数据湖一侧,长期以开放式文件存储为主,一致性保障薄弱,难以承载对数据质量要求严苛的核心业务分析。
这一格局正在被改写。Databricks 近期宣布 Multi-Statement Transactions(多语句事务)正式商用(GA),用户可在 Delta Lake 上以 ACID 语义跨多张表执行多条语句的事务操作,覆盖增量批处理、并发写入与回滚等关键场景。这一发布的产业意义在于:曾被普遍视为“数仓专属优势”的事务能力,正式成为湖仓架构的标准配置,Lakehouse 与传统 MPP 数仓在核心能力上的差距被显著缩小。
从演进路径看,湖仓事务能力经历了三个阶段的迁移:
第一阶段,数据湖以 Parquet 等开放格式存储数据,缺乏事务保障;第二阶段,Delta Lake、Iceberg、Hudi 等开放表格式引入单表级 ACID,使湖上数据具备基础的可靠性;第三阶段,多语句、跨表事务的 GA,意味着湖仓在事务一致性层面全面对齐数仓,传统数仓最后的核心壁垒之一被拆除。
二、三大场景的产业意义
多语句事务的商用价值,需要放在具体场景中理解。
增量批处理:企业数据管道常涉及多张表的联动更新——维度表与事实表同步刷新、跨表数据对账等。在缺乏事务保障的情况下,管道中途失败会导致部分表更新、部分表滞留,产生脏数据与下游错误结论。多语句事务保证“要么全部成功、要么全部回滚”,使增量批处理的可靠性达到数仓水准,直接降低数据团队的运维与校验成本。
并发写入:在多团队、多任务共享同一湖仓平台的组织中,并发写入冲突是高频痛点。传统做法依赖分区隔离或人工协调,效率低下。事务化的并发控制使多个写入方在同一架构上安全协作,这是湖仓从“单团队数据池”走向“企业级共享数据平台”的关键一步。
回滚能力:错误的 ETL 任务、上游数据质量问题,都可能污染下游分析。回滚能力使数据平台具备“时光机”式的自我修复能力,将故障恢复时间从小时级压缩至分钟级,对金融、零售等数据时效敏感行业的价值尤为突出。
三、竞争格局的重新定位
事务能力的迁移,本质上是技术壁垒瓦解的过程。传统数仓厂商的核心卖点——一致性保障、SQL 能力、企业级可靠性——正在被湖仓架构逐一复刻,而湖仓自身的开放格式、存算分离、弹性扩展、AI 负载亲和性等优势,则是数仓厂商短期内难以反向对齐的。
如上图所示,Databricks 在补齐事务短板后,处于“高事务能力+高开放性”的领跑者象限;Snowflake、Teradata 等仓类厂商事务能力成熟,但架构开放性受限,落入存量玩家区间;围绕 Iceberg 等开放表格式形成的生态,虽事务能力尚在演进,但开放性优势使其具备潜力股特征。可以预见,仓类厂商也将通过支持开放表格式等方式应对,竞争焦点将从“是否具备事务能力”转向“事务能力之上的性能、成本与 AI 负载整合”。
四、结语
多语句事务 GA 是湖仓演进的一个标志性节点:它宣告 ACID 不再是数仓的专属优势,而是开放数据平台的基础能力。对企业而言,这意味着在选型时不再需要在“一致性”与“开放性”之间二选一;对产业而言,这意味着数仓与数据湖之间长达十余年的架构分野正在加速弥合,下一阶段的竞争将围绕统一平台上的分析、AI 与事务混合负载展开。
产业链分析:上中下游
湖仓架构补齐事务能力,正在重塑数据基础设施产业链的分工与价值分配。整体上,产业链可分为上游存储引擎与开放表格式、中游数据平台厂商、下游多元化应用场景三层,各层之间的耦合方式正随着开放格式的普及而松动。
上游:开放表格式成为事实标准层
产业链上游的核心是存储底座与开放数据格式。以 Delta Lake、Apache Iceberg、Apache Hudi 为代表的开放表格式,将 ACID 事务、Schema 演进、并发控制等原本由数仓封闭引擎承载的能力,下沉到了对象存储之上的通用格式层。其中 Delta Lake 由 Databricks 主导并捐赠给 Linux 基金会,本次多语句事务 GA 即建立在 Delta Lake 的事务日志机制之上,支持跨多张表的 ACID 语义、并发写入与回滚。
上游的战略意义在于:一旦表格式成为行业标准,存储与计算彻底解耦,数仓厂商依靠“封闭格式+私有引擎”构建的迁移壁垒随之削弱。上游竞争的焦点已从功能完整性转向生态适配广度——哪种格式能同时被更多计算引擎(Spark、Flink、Trino 等)和平台原生支持,就能占据更强的产业链话语权。
中游:平台厂商路线分化加剧
中游是价值最集中、竞争最激烈的环节,厂商大致分为三类:
- 湖仓原生阵营:以 Databricks 为代表,在开放格式之上持续叠加数仓级能力,本次事务 GA 是其正面切入传统数仓腹地的标志性动作;
- 云仓阵营:以 Snowflake、Teradata 为代表,依赖托管服务体验与既有客户存量,同时通过支持 Iceberg 等开放格式进行防御性布局;
- 开源与云厂商阵营:各云厂商及开源发行版借开放格式提供组合式湖仓方案,以成本和自主可控为卖点。
从定位看,传统数仓厂商仍保有事务与并发场景的深厚积累,但正被挤压至“高事务能力、低开放程度”的存量象限;湖仓原生厂商则在开放性与能力完整性上双向推进。中游的长期胜负手,将取决于谁能率先在开放格式上同时做到性能、事务与治理的持平或超越。
下游:三类场景的需求牵引
下游用户需求是本轮变革的根本驱动力,主要集中在三个场景:
1. 批处理与数据工程:增量批处理、并发写入与失败回滚是 ETL 管线的刚需,多语句事务 GA 直接降低多表写入一致性的工程成本;
2. BI 与交互式分析:分析用户要求一致性与高并发查询能力,此前这是数仓相对湖仓的核心优势区,如今差距正在收窄;
3. AI 与特征工程:AI 场景要求在统一数据副本上完成训练数据准备与治理,避免数仓与数据湖之间的冗余搬运,湖仓的开放格式天然适配这一需求。
小结
产业链的核心变化是:价值重心从事务能力的私有化,转向事务能力的标准化与开放化。上游格式之争决定生态走向,中游平台之争决定性能与服务体验,下游三大场景则持续拉动事务、并发与统一治理的需求升级。随着多语句事务在湖仓上商用落地,“数仓能力专属某一架构”的假设被打破,产业链各环节的壁垒重组已经开始。
竞争态势:正面交锋加剧
Databricks宣布多语句事务(Multi-Statement Transactions)正式商用(GA),用户可在Delta Lake上以ACID语义跨多张表执行跨多条语句的事务,覆盖增量批处理、并发写入与回滚等场景。这一能力长期被视为数据仓库的专属优势,此次发布意味着Lakehouse架构在事务一致性上补齐了最后一块明显短板,也标志着湖仓与仓两大阵营的竞争从“错位共存”加速转向“正面交锋”。
一、GA发布:从能力追赶到底层对等
事务能力是传统MPP数据仓库数十年积累的核心壁垒。在此之前,Lakehouse虽以开放存储格式、弹性算力和AI负载亲和性建立了差异化优势,但在跨表、跨语句的事务一致性上与Snowflake、Teradata等仓类厂商存在客观差距,这也是部分关键业务负载(如金融核心账务、一致性敏感的批处理)难以从数仓向湖仓迁移的重要原因。
多语句事务GA后,这一差距被显著压缩。用户可以在湖仓上执行并发写入、失败回滚等操作,获得与数仓同级的事务保障。竞争逻辑随之改变:
二、技术壁垒消解的三个层次
从产业视角看,数仓厂商的护城河正沿三个层次被逐步侵蚀:
第一层,功能对等。 事务、并发控制、回滚等原属数仓的专属能力陆续被Lakehouse覆盖,传统仓在功能清单上的“独占项”不断减少。
第二层,生态迁移。 Delta Lake等开放表格式降低了数据锁定风险,企业可以保留现有数据资产的同时引入湖仓计算层,切换成本从“推倒重建”降为“渐进替换”。
第三层,工作负载外溢。 湖仓架构天然承接BI之外的数据工程、机器学习等负载,随着事务能力补齐,原本必须留在数仓内的一致性敏感负载也具备了迁移的技术前提。
三、差异化竞争策略分化
壁垒消解并不意味着同质化竞争,头部厂商的应对路径已明显分化:
仓类厂商依托既有的企业级客户基础、成熟的服务体系与BI工具深度集成,强化“稳态分析”定位,同时在AI负载上加快补课,避免在增长曲线上失位。
湖仓厂商则以开放格式与统一平台为支点,将事务GA转化为“一站式数据+AI平台”叙事,面向增量云原生客户与AI优先型组织扩张,逐步向存量数仓腹地渗透。
云厂商凭借底层基础设施与自有数仓服务的整合,在两条路线之间保持灵活卡位。
四、竞争走向研判
总体来看,事务能力GA是本轮湖仓与数仓竞争的分水岭事件:技术层面,Lakehouse与MPP数仓的核心能力差距显著缩小;商业层面,双方进入以综合性价比、平台完整性与AI负载承接能力为主要变量的争夺阶段。可以预期,随着开放表格式生态进一步成熟,仓湖边界将持续模糊,头部厂商间的正面交锋将围绕存量负载迁移与增量AI场景展开,竞争烈度而非竞争范围,将成为下一阶段的主要变化。
数据与竞争:开源生态动能
一、事务能力商用化:最后一道技术护城河的松动
2024年以来,湖仓架构在事务一致性上的短板被加速补齐。Databricks宣布Multi-Statement Transactions(多语句事务)正式商用(GA),用户可在Delta Lake上以ACID语义跨多张表执行多语句事务,覆盖增量批处理、并发写入与回滚等场景。
这一能力长期被视为传统数据仓库的专属优势——以Snowflake、Teradata为代表的MPP数仓厂商,正是凭借成熟的事务处理、并发控制与数据一致性保障,在企业核心分析负载中建立了技术壁垒。如今,数仓级的事务能力被搬进湖仓架构,意味着Lakehouse与MPP数仓在核心能力维度的差距进一步收窄,构成了对仓类厂商的正面竞争压力。
从竞争格局看,这一发布的意义超出单一功能本身:当湖仓具备了增量批处理、跨表事务、并发写回滚等能力,传统数仓相对开放湖架构的“技术溢价”空间被显著压缩,差异化竞争的焦点开始向治理、服务与生态迁移。
二、开源表格格式:能力趋同的技术底座
湖仓事务能力的快速普及,背后是开源表格格式生态的推动。以Delta Lake、Apache Iceberg、Apache Hudi为代表的开源表格格式,构成了湖仓架构的“表”层标准,天然具备ACID语义、Schema演化和时间旅行等能力。厂商在开源格式之上叠加多语句事务、并发控制等能力,使得事务短板的补齐具有了可复制性——任何基于开源格式的平台都可以沿着相似的路径实现能力趋同。
开源生态的动能体现在三个层面:
- 技术扩散加速:开源格式降低了湖仓能力的实现门槛,新进入者无需从零构建存储引擎即可提供数仓级事务能力,技术壁垒的瓦解速度远快于闭源时代;
- 能力差距收敛:三大开源格式彼此竞争、相互借鉴,功能集趋同,最终传导至上层平台,导致平台间“表能力”层面的差异持续缩小;
- 生态锁定重构:竞争的锚点从底层存储引擎转向数据治理、BI集成、AI工作负载等上层能力,竞争周期被拉长,护城河形态发生改变。
三、客户选型逻辑的变化:数据主权、互操作性与迁移成本
当核心表能力趋同,客户选型的关键变量也随之转移。企业越来越多地从“哪家平台的表引擎更强”转向“我的数据被谁控制、能否自由流动、换平台要付出多大代价”。
数据主权成为首要考量。基于开放表格格式的数据资产归客户所有,元数据与物理存储不与特定厂商绑定,客户可以保留对数据存储位置、访问策略与合规边界的控制权。相比之下,传统数仓的专有存储格式使数据资产与平台深度耦合。
互操作性随之成为竞争焦点。开源格式使同一份表可以被多个计算引擎(Spark、Trino、Flink等)和多个平台直接读取,客户得以构建“存算分离、引擎多元”的架构,避免单点依赖。
迁移成本则是厂商视角的镜像。对于传统数仓厂商,开放格式意味着其历史优势——数据一旦进入专有存储便难以离开——正在失效;对于湖仓厂商,开放格式既是获客利器(降低客户迁入门槛),也意味着自身锁定能力同样被削弱,需要通过治理、性能与AI能力构建新的留存逻辑。
下表概括了选型变量的转移路径:
四、厂商竞争定位:四象限视角
基于“技术门槛—商业价值”两个维度,可以对当前主要竞争参与方进行定位:
Databricks凭借事务能力GA与开源格式生态处于领跑区间;Snowflake以强大的服务层与治理能力维持高价值定位,但正加速兼容Iceberg以应对开放格式的冲击;云厂商依托基础设施与托管服务占据中间地带;传统数仓厂商面临存量客户维系压力;开源社区发行版技术门槛较低,商业价值依赖上层服务转化。
五、结构性影响:壁垒瓦解后的新护城河
综合来看,开源表格格式生态正在重塑数据平台竞争的结构性逻辑:
1. 存储层竞争终结:表格格式的开放与趋同,使底层“表”不再是差异化来源,竞争上移至治理、性能、AI集成与服务体验;
2. 锁定效应双向弱化:开放格式降低了客户进入与退出成本,厂商必须从“锁定”转向“持续价值创造”来留存客户;
3. AI负载成为新战场:湖仓作为统一数据底座天然承接AI训练与推理数据需求,事务能力补齐后,湖仓对数仓的替代逻辑从“分析场景”扩展至“AI场景”。
数据主权、互操作性与迁移成本已成为客户选型的关键竞争变量。在这一新的竞争框架下,拥有开源生态话语权、并能将开放性转化为上层服务价值的厂商,将在数仓壁垒瓦解的进程中占据先机。
趋势判断:融合与收敛
核心判断
湖仓与数仓的架构之争,正在从“替代叙事”走向“收敛叙事”。Databricks 宣布 Multi-Statement Transactions 正式商用(GA),用户可在 Delta Lake 上以 ACID 语义跨多张表执行多语句事务,覆盖增量批处理、并发写入与回滚等场景。这一能力长期被视为数据仓库的专属优势,其商用化标志着 Lakehouse 在事务一致性上的关键短板被补齐,进一步侵蚀传统数仓(如 Snowflake、Teradata)的核心技术壁垒。
我们判断:未来三到五年,湖仓与数仓将从两条独立的技术路线收敛为统一的数据平台形态,而事务一致性能力的标准化将成为重塑市场分层与厂商竞合格局的关键变量。
收敛的技术逻辑:能力短板逐一补齐
数据仓库的护城河由多层能力叠加构成,湖仓正在自下而上逐层瓦解:
Delta Lake 此前已具备单表 ACID 事务能力,解决了湖上数据可靠性问题;本次多语句事务 GA,则将事务边界扩展到跨表、跨语句层面,使增量批处理、并发写入与回滚等典型数仓场景可以在湖仓架构上原生运行。至此,Lakehouse 与传统 MPP 数据仓库在核心能力上的差距被显著缩小——这是对 Snowflake 等仓类厂商的正面回应,也意味着“必须用数仓才能保证一致性”的技术前提正在失效。
市场分层重塑:技术门槛与商业价值的再洗牌
事务能力标准化后,厂商的竞争定位将围绕两个维度重新划分:技术门槛(是否掌握开放表格式之上的事务引擎能力)与商业价值(能否承接关键负载、锁定企业预算)。
在这一格局中,开放表格式湖仓阵营凭借 GA 级事务能力进入领跑象限;云原生数仓龙头仍凭高价值负载维持强势,但技术护城河的相对宽度正在收窄;传统 MPP 数仓面临存量市场挤压,需要通过兼容开放表格式寻找新定位;缺乏事务引擎等深层能力的单点工具厂商,则面临被平台化方案吸收的整合压力。
厂商竞合关系的三条演化路径
其一,从对抗转向互操作。 当湖仓补齐事务能力后,“自建封闭存储+专属接口”的锁定策略吸引力下降。为承接企业存量数仓负载,仓类厂商与湖仓阵营均将加大对 Apache Iceberg、Delta Lake 等开放表格式的兼容投入,“开放表格式”将成为各方事实上的公共底座,竞争焦点从存储层上移至事务引擎、查询优化与治理能力。
其二,差异化竞争转向垂直纵深。 事务一致性标准化后,通用能力趋于同质化,厂商将在垂直纵深上寻求溢价:实时性、AI 负载融合、跨域治理、行业化数据模型等,将成为新的分层依据。Databricks 将事务能力定位为"advancing warehousing on the Lakehouse",其意图正是以湖仓底座承接全部数仓负载,并通过 AI 与数据一体化构建下一个差异点。
其三,存量厂商的转型窗口收窄。 Teradata 等传统数仓厂商的迁移压力将随湖仓事务能力商用而加速显现。产业逻辑上看,转型路径(兼容开放表格式、转向管理服务、深耕存量行业客户)依然存在,但窗口期取决于湖仓阵营对关键负载的承接速度。
演化阶段的判断
以金字塔结构概括收敛进程中的平台形态演进:
结论
事务一致性的标准化不是一个孤立的功能发布,而是数据平台架构收敛的分水岭事件。当“一致性”不再是数仓的专属属性,架构选型的技术理由被大幅削弱,市场将加速向“开放表格式底座 + 平台化增值服务”的分层结构收敛。对厂商而言,未来的竞争不再是谁定义架构,而是谁能在收敛后的公共底座之上,构建最难被替代的增值层。对用户而言,选型重心应从“仓还是湖”转向“开放程度与演进能力”,以降低长期锁定风险。
📚 参考素材(撰写本文时引用的相关资讯,绿色徽标=相关度评分)
以下2条资讯与本报告主题高度相关,构成本报告的事实基础。
- •
Databricks宣布Multi-Statement Transactions(多语句事务)正式商用(GA),用户可在Lakehouse上运行跨多条语句的ACID事务,覆盖增量批处理、并发写入与回滚等场景。这一能力长期被视为数据仓库的专属
— 资讯 - •
Databricks 宣布 Lakehouse 上的多语句事务正式商用(GA),用户可在 Delta Lake 上以 ACID 语义跨多张表执行多语句事务,覆盖并发写入、回滚等场景。这意味着数仓级的事务能力被搬进湖仓架构,进一步缩小 Lak
— 资讯