dbt v2落地:谁还需要它?
dbt v2打包适配器、提速解析、用小型可查询文件取代巨型manifest.json;另一边,『有Dagster还要dbt吗』仍是谷歌热搜问题。本文拆解v2的真实变化、dbt与编排器的分工边界,以及什么情况下跳过dbt才是正确选择。
dbt v2正式落地了。打包适配器、解析提速、文档体验绕开那个巨大的manifest.json——这是一次面向工程现实的版本迭代。但同期另一个数据更耐人寻味:『既然有Dagster,为什么还要dbt』是谷歌上这个话题的第二条结果,而且是一条Reddit帖子。一个版本发布和一个流传多年的疑问,指向同一件事:转换层与编排层的边界,到了必须说清楚的时候。
🔧 一次迟到多年的架构瘦身
工具的版本号往往不诚实,但v2这次的变化方向很清楚:减负。
先看事实。根据dbt v2的发布内容,这一版做了三件核心的事:其一,把adapter(适配器)打包进发行版,用户不再需要单独拼装各数据仓库的连接层;其二,解析速度明显加快——对大型项目来说,意味着每次跑dbt build前那段令人焦躁的等待被压缩;其三,也是最值得玩味的一处:文档体验彻底绕开了那个著名的manifest.json,取而代之的是更小、可查询的分文件。
这三件事,单独看都是工程细节,拼起来看是一次明确的立场表达:dbt不想再让用户为『工具自身的复杂性』付费。
做过中大型数仓项目的人都懂那种痛:项目到几千个模型时,光解析就要等几分钟,manifest.json膨胀到几十上百兆,打开文档、做影响分析、写CI检查,都要先跟这个巨物搏斗。v2把这些痛点逐个拆掉——适配器打包降低的是新人的入门摩擦,解析提速改善的是日常迭代节奏,而manifest的重构,则是在为下一阶段的消费方式铺路。
据多位长期维护dbt项目的社区开发者私下反馈,解析慢和manifest过大,是过去两年被抱怨最多的两个问题。v2等于正面回应了这两条最集中的意见。这种『不追新概念、只修真痛点』的版本节奏,在当下的数据工具圈反而显得稀缺。
产业逻辑也在这里:数据工具的竞争已经从『功能有没有』进入『摩擦小不大』的阶段。用户留不留在一个框架里,越来越取决于日常每次交互的等待成本和维护成本,而不是发布会上那几个新名词。
⚔️ 谷歌第二条结果里的真困惑
『既然有Dagster,为什么还要dbt?』——这句话能排到谷歌相关话题的第二条结果,说明它不是杠精问题,而是一线团队真实的采购困惑。
困惑的根源在于重叠。两个工具都会画血缘图,都能按计划运行,都能跑测试。表面上,你似乎在为同样的能力付两次钱。
但拆开看,二者根本不在一层。dbt是一个SQL转换框架:它吃进去的是一个装满带Jinja模板的SELECT语句的文件夹,根据ref()调用自己推算执行顺序,编译成目标数据仓库能跑的语句,物化成表或视图,再对结果跑not_null、unique等测试。它不会自我调度——总得有什么东西去调用dbt build。
Dagster则是一个编排器:它决定什么时候运行、记录每次运行产出了什么、失败重试、追踪分区、跑任意Python代码。它有自己的数据质量检查(asset checks),也有基于声明式依赖构建的血缘图。
重叠区只在中间:血缘和测试。差异才是关键——dbt的血缘图覆盖的是单一数据仓库内的SQL模型,Dagster的血缘图覆盖一切,包括负责加载数据的那些Python代码。
用一个四象限来看更直观:
这张图想说明的是:dbt和Dagster并非同一象限里的对手,而是垂直分工的两层。真正构成替代关系的,是『dbt+Dagster组合』与『纯Python管道』之间的路线之争——这才是团队真正要做的选择。
🧭 什么情况下,跳过dbt才是对的
一句业内流传的实话是:不是每个团队都需要dbt,承认这一点不丢人。
一个有说服力的样本来自实践者本人:有开发者的生产管道完全跑在Dagster上,一点dbt都没用,而且运行得很好。这个案例的价值不在于『dbt不行』,而在于它划出了跳过dbt的合理边界。
什么时候可以不用dbt?当你的转换逻辑本来就要用Python写、当你的管道高度依赖分区和重试语义、当你的团队就是清一色数据工程师而不需要让分析师参与建模时,多引入一层SQL框架,带来的协调成本可能大于收益。dbt的ref()依赖、模型物化、测试体系,本质上是把一套软件工程规范强加给SQL——这套规范对协作型、分析师深度参与的项目是巨大价值,但对一个三五个工程师维护的纯Python管道,可能是多余的仪式。
反过来,什么时候dbt不可替代?当你的数据团队里有一大批只会SQL、不写Python的分析师,而你需要给他们一套带版本管理、测试、血缘的建模框架时,dbt就是那座桥。它让SQL作者获得了原本只有软件工程师才有的工程化待遇。
所以判断标准从来不是工具优劣,而是你团队的人员结构和转换逻辑的形态。用一个表格把边界画清楚:
| 维度 | dbt | Dagster |
|---|---|---|
| 定位 | SQL转换框架 | 数据编排器 |
| 核心输入 | 带Jinja的SELECT文件夹 | 任意Python代码 |
| 依赖解析 | `ref()`调用自动推算 | 声明式依赖构建 |
| 自身调度 | 无,需外部调用`dbt build` | 内置调度 |
| 血缘范围 | 单仓库内SQL模型 | 全链路,含加载Python |
| 数据测试 | not_null、unique、自定义SQL | asset checks |
| 失败重试 | — | 内置 |
| 分区追踪 | — | 内置 |
🤖 manifest.json退场:文档第一次为AI而写
v2里最超前的改动,其实是那个最不起眼的:manifest.json被替换成更小、可查询的文件,官方说法是『为了人和AI』。
这句话值得停下来想一想。过去十年,数据工具的元数据设计只有一个读者:人类工程师,或者更准确地说,是被人类工程师使用的程序。manifest.json把整个项目的编译产物塞进一个巨型JSON——对机器来说它确实结构完整,但对人类来说几乎不可直接阅读,对如今的大型语言模型来说,几十上百兆的单文件上下文也是灾难。
v2的解法是把元数据打散成小型、可查询的文件。这意味着:人可以用文档界面精准查到想看的信息,CI流程可以按需拉取局部元数据,而AI代理则可以像查询数据库一样查询项目结构,而不是吞下整个巨物。
(上图中,同一份小型元数据文件,分别服务文档、CI与AI三类消费方。)
这是一个信号:数据工具的元数据接口,正在从『给人用的API』变成『给代理用的API』。可以推演的是,未来一两年,转换层工具的竞争点会部分转移到『AI能不能读懂你的项目』上——谁能提供结构化、细粒度、可查询的项目描述,谁就能在AI辅助开发的工作流里占据入口位置。dbt v2选择先改manifest,等于抢跑了这个位置。
而这一切仍然没有改变一个事实:dbt管的是SQL转换层。AI能帮你写模型、查血缘、跑影响分析,但编排、重试、分区这些运行时职责,依然属于Dagster那一层。工具为AI优化的同时,分层逻辑反而更清晰了。
📈 产业判断:分层不会消失,只会更清楚
把两个素材合起来看,能得出一个不太浪漫但很扎实的判断:数据栈的分层不但没有被融合浪潮抹平,反而被进一步夯实。
dbt v2的三个改动,本质都是在加固『转换框架』这一层的地基——更快的解析让这一层更轻盈,打包的适配器让这一层更容易部署,可查询的元数据让这一层更容易被上下游和AI消费。它没有越界去做调度,没有去做加载,甚至没有把自己的血缘图扩展到仓库之外。
而『有Dagster还要dbt吗』这个问题的持续高热,恰恰证明市场在用真金白银投票分层架构:团队愿意同时引入两个工具,只是需要一个说得过去的理由。工具厂商最聪明的做法,不是模糊边界宣称全栈,而是把自己的那一层做到无可替代,然后把接口让得干干净净。
对正在选型的团队,结论可以压缩成三句话:分析师多、转换逻辑重,dbt值得;纯工程师、管道即代码,Dagster单层就够;两个都要,不是重复付费,而是各付各的钱。
小结:dbt v2没有讲新故事,它讲的是一个老故事的新版本——把转换层做轻、做快、做 readable(这次连AI都要读)。而Dagster与dbt那道流传多年的选择题,答案一直没变过:不是二选一,而是先看清你的团队站在哪一层。下一阶段的看点在于,当AI代理开始直接消费这些可查询元数据时,转换层与编排层的接口会不会长出全新的协作方式。分层不死,只是换了读者。