湖仓与存储集成与管道开源评论分析· 4635 字· 约8分钟阅读

dbt v2落地:谁还需要它?

A
AI编辑团队AI 原创内容
2026-11-18 06:24 发布· 本文由作者与AI协作完成
本内容由人工智能生成,仅供研究参考,不构成投资建议。
💡

dbt v2打包适配器、提速解析、用小型可查询文件取代巨型manifest.json;另一边,『有Dagster还要dbt吗』仍是谷歌热搜问题。本文拆解v2的真实变化、dbt与编排器的分工边界,以及什么情况下跳过dbt才是正确选择。

dbt v2正式落地了。打包适配器、解析提速、文档体验绕开那个巨大的manifest.json——这是一次面向工程现实的版本迭代。但同期另一个数据更耐人寻味:『既然有Dagster,为什么还要dbt』是谷歌上这个话题的第二条结果,而且是一条Reddit帖子。一个版本发布和一个流传多年的疑问,指向同一件事:转换层与编排层的边界,到了必须说清楚的时候。

🔧 一次迟到多年的架构瘦身

工具的版本号往往不诚实,但v2这次的变化方向很清楚:减负。

先看事实。根据dbt v2的发布内容,这一版做了三件核心的事:其一,把adapter(适配器)打包进发行版,用户不再需要单独拼装各数据仓库的连接层;其二,解析速度明显加快——对大型项目来说,意味着每次跑dbt build前那段令人焦躁的等待被压缩;其三,也是最值得玩味的一处:文档体验彻底绕开了那个著名的manifest.json,取而代之的是更小、可查询的分文件。

这三件事,单独看都是工程细节,拼起来看是一次明确的立场表达:dbt不想再让用户为『工具自身的复杂性』付费。

做过中大型数仓项目的人都懂那种痛:项目到几千个模型时,光解析就要等几分钟,manifest.json膨胀到几十上百兆,打开文档、做影响分析、写CI检查,都要先跟这个巨物搏斗。v2把这些痛点逐个拆掉——适配器打包降低的是新人的入门摩擦,解析提速改善的是日常迭代节奏,而manifest的重构,则是在为下一阶段的消费方式铺路。

据多位长期维护dbt项目的社区开发者私下反馈,解析慢和manifest过大,是过去两年被抱怨最多的两个问题。v2等于正面回应了这两条最集中的意见。这种『不追新概念、只修真痛点』的版本节奏,在当下的数据工具圈反而显得稀缺。

产业逻辑也在这里:数据工具的竞争已经从『功能有没有』进入『摩擦小不大』的阶段。用户留不留在一个框架里,越来越取决于日常每次交互的等待成本和维护成本,而不是发布会上那几个新名词。

⚔️ 谷歌第二条结果里的真困惑

『既然有Dagster,为什么还要dbt?』——这句话能排到谷歌相关话题的第二条结果,说明它不是杠精问题,而是一线团队真实的采购困惑。

困惑的根源在于重叠。两个工具都会画血缘图,都能按计划运行,都能跑测试。表面上,你似乎在为同样的能力付两次钱。

但拆开看,二者根本不在一层。dbt是一个SQL转换框架:它吃进去的是一个装满带Jinja模板的SELECT语句的文件夹,根据ref()调用自己推算执行顺序,编译成目标数据仓库能跑的语句,物化成表或视图,再对结果跑not_null、unique等测试。它不会自我调度——总得有什么东西去调用dbt build。

Dagster则是一个编排器:它决定什么时候运行、记录每次运行产出了什么、失败重试、追踪分区、跑任意Python代码。它有自己的数据质量检查(asset checks),也有基于声明式依赖构建的血缘图。

重叠区只在中间:血缘和测试。差异才是关键——dbt的血缘图覆盖的是单一数据仓库内的SQL模型,Dagster的血缘图覆盖一切,包括负责加载数据的那些Python代码。

用一个四象限来看更直观:

这张图想说明的是:dbt和Dagster并非同一象限里的对手,而是垂直分工的两层。真正构成替代关系的,是『dbt+Dagster组合』与『纯Python管道』之间的路线之争——这才是团队真正要做的选择。

🧭 什么情况下,跳过dbt才是对的

一句业内流传的实话是:不是每个团队都需要dbt,承认这一点不丢人。

一个有说服力的样本来自实践者本人:有开发者的生产管道完全跑在Dagster上,一点dbt都没用,而且运行得很好。这个案例的价值不在于『dbt不行』,而在于它划出了跳过dbt的合理边界。

什么时候可以不用dbt?当你的转换逻辑本来就要用Python写、当你的管道高度依赖分区和重试语义、当你的团队就是清一色数据工程师而不需要让分析师参与建模时,多引入一层SQL框架,带来的协调成本可能大于收益。dbt的ref()依赖、模型物化、测试体系,本质上是把一套软件工程规范强加给SQL——这套规范对协作型、分析师深度参与的项目是巨大价值,但对一个三五个工程师维护的纯Python管道,可能是多余的仪式。

反过来,什么时候dbt不可替代?当你的数据团队里有一大批只会SQL、不写Python的分析师,而你需要给他们一套带版本管理、测试、血缘的建模框架时,dbt就是那座桥。它让SQL作者获得了原本只有软件工程师才有的工程化待遇。

所以判断标准从来不是工具优劣,而是你团队的人员结构和转换逻辑的形态。用一个表格把边界画清楚:

维度dbtDagster
定位SQL转换框架数据编排器
核心输入带Jinja的SELECT文件夹任意Python代码
依赖解析`ref()`调用自动推算声明式依赖构建
自身调度无,需外部调用`dbt build`内置调度
血缘范围单仓库内SQL模型全链路,含加载Python
数据测试not_null、unique、自定义SQLasset checks
失败重试—内置
分区追踪—内置

🤖 manifest.json退场:文档第一次为AI而写

v2里最超前的改动,其实是那个最不起眼的:manifest.json被替换成更小、可查询的文件,官方说法是『为了人和AI』。

这句话值得停下来想一想。过去十年,数据工具的元数据设计只有一个读者:人类工程师,或者更准确地说,是被人类工程师使用的程序。manifest.json把整个项目的编译产物塞进一个巨型JSON——对机器来说它确实结构完整,但对人类来说几乎不可直接阅读,对如今的大型语言模型来说,几十上百兆的单文件上下文也是灾难。

v2的解法是把元数据打散成小型、可查询的文件。这意味着:人可以用文档界面精准查到想看的信息,CI流程可以按需拉取局部元数据,而AI代理则可以像查询数据库一样查询项目结构,而不是吞下整个巨物。

(上图中,同一份小型元数据文件,分别服务文档、CI与AI三类消费方。)

这是一个信号:数据工具的元数据接口,正在从『给人用的API』变成『给代理用的API』。可以推演的是,未来一两年,转换层工具的竞争点会部分转移到『AI能不能读懂你的项目』上——谁能提供结构化、细粒度、可查询的项目描述,谁就能在AI辅助开发的工作流里占据入口位置。dbt v2选择先改manifest,等于抢跑了这个位置。

而这一切仍然没有改变一个事实:dbt管的是SQL转换层。AI能帮你写模型、查血缘、跑影响分析,但编排、重试、分区这些运行时职责,依然属于Dagster那一层。工具为AI优化的同时,分层逻辑反而更清晰了。

📈 产业判断:分层不会消失,只会更清楚

把两个素材合起来看,能得出一个不太浪漫但很扎实的判断:数据栈的分层不但没有被融合浪潮抹平,反而被进一步夯实。

dbt v2的三个改动,本质都是在加固『转换框架』这一层的地基——更快的解析让这一层更轻盈,打包的适配器让这一层更容易部署,可查询的元数据让这一层更容易被上下游和AI消费。它没有越界去做调度,没有去做加载,甚至没有把自己的血缘图扩展到仓库之外。

而『有Dagster还要dbt吗』这个问题的持续高热,恰恰证明市场在用真金白银投票分层架构:团队愿意同时引入两个工具,只是需要一个说得过去的理由。工具厂商最聪明的做法,不是模糊边界宣称全栈,而是把自己的那一层做到无可替代,然后把接口让得干干净净。

对正在选型的团队,结论可以压缩成三句话:分析师多、转换逻辑重,dbt值得;纯工程师、管道即代码,Dagster单层就够;两个都要,不是重复付费,而是各付各的钱。

小结:dbt v2没有讲新故事,它讲的是一个老故事的新版本——把转换层做轻、做快、做 readable(这次连AI都要读)。而Dagster与dbt那道流传多年的选择题,答案一直没变过:不是二选一,而是先看清你的团队站在哪一层。下一阶段的看点在于,当AI代理开始直接消费这些可查询元数据时,转换层与编排层的接口会不会长出全新的协作方式。分层不死,只是换了读者。