dbt v2 落地,调度器的饭碗稳了
dbt v2 带来适配器打包、解析提速和 manifest.json 的替代方案,而『有了 Dagster 还要不要 dbt』依然是社区最高频的疑问。本文从两个工具的真实分工出发,拆解 v2 的三层改动背后的产业逻辑:转换层与编排层正在彻底分层,元数据正在变成给 AI 读的东西。
dbt v2 落地,调度器的饭碗稳了
导语: 数据社区有个经久不衰的问题:我都有了 Dagster,还需要 dbt 吗?这个问题的讨论帖常年挂在搜索引擎结果前列。dbt v2 的落地恰好给了我们一个重新回答它的机会——适配器打包、解析提速、巨型 manifest.json 被更小更可查询的文件取代。这一版改完,一个判断越来越清晰:转换层和编排层不是竞争关系,而是终于各回各层。
📦 一个 Reddit 帖子,暴露了社区最大的困惑
困惑不是营销出来的,是真实长在工具重叠区的。
「Why use dbt if I have Dagster?」是搜索引擎上这个话题的二号结果,而它指向的是一个 Reddit 帖子。这个细节很说明问题:当用户的第二个高频疑问来自论坛讨论而非官方文档,说明官方解释没能覆盖真实的痛点。
用户的直觉很简单:两个工具都会画血缘图,都按计划调度运行,都能跑测试。看起来像是同一件事付了两次钱。
但事实是,重叠只发生在中间地带。把两个工具拆开看,分工其实毫不含糊:
- dbt 是一个 SQL 转换框架:吃进一个装满 SELECT 语句(加 Jinja 模板)的文件夹,从
ref()调用里推导出执行顺序,针对你的数仓编译,跑成表或视图,再对结果跑测试(not_null、unique、自定义 SQL)。它不会自己调度自己——总得有东西去调用dbt build。 - Dagster 是一个编排器:决定什么时候跑、记录每次运行产出了什么、失败重试、追踪分区、执行任意 Python。它有自己的数据质量检查(asset checks)和基于依赖声明构建的血缘图。
差异的关键在血缘图的覆盖范围:dbt 的图只覆盖一个数仓里的 SQL 模型,而 Dagster 的图覆盖一切——包括加载数据的那些 Python 代码。这就是产业逻辑所在:dbt 是深度,Dagster 是广度,两者不是替代品,是不同维度的工具。
⚙️ dbt v2 挥出的三刀:打包、提速、瘦身
v2 的每一刀,都砍在工程团队真实痛过的地方。
dbt v2 的改动集中在三件事上:
第一刀,适配器打包(bundle adapters)。 适配器是 dbt 对接各家数仓的桥。过去适配器的安装与管理是单独的事,现在被捆绑进主包,部署链路少了一环。对于维护几十个项目的数据平台团队来说,少一环就少一个版本错配的雷。
第二刀,解析提速(faster parsing)。 任何一个维护过几百上千个 dbt 模型的团队都体会过那种等待:改一行配置,dbt 要先花不短的时间做解析。解析越快,开发迭代越密,这是个直接影响工程师体感的改动。
第三刀,也是最值得玩味的一刀:manifest.json 被替换了。 那个动辄巨大无比的 manifest 文件,变成了更小的、可查询的文件集合——而且明确说,是为人也是为 AI 准备的。
| 维度 | 改动前 | 改动后(v2) |
|---|---|---|
| 适配器 | 单独安装管理 | 打包进 dbt 主包 |
| 解析 | 相对较慢 | 明显提速 |
| 元数据产物 | 单个巨型 manifest.json | 更小、可查询的文件集 |
| 元数据消费者 | 人 + 脚本硬啃 | 人 + AI 都能直接用 |
这三刀的共同点是把 dbt 往「更专业的转换层」方向推,而不是往「什么都做」的方向推。一个工具把自己的核心职责做得越锋利,它在分层架构里的位置就越稳固——这是 v2 最重要却最不喧哗的信号。
🗺️ 四象限看格局:深度与广度的分水岭
转换做得深的,调度做得广的,各自守住各自的象限。
如果把这轮数据工具的竞争放进一个坐标系——横轴看工具的覆盖广度(单点能力到端到端),纵轴看转换层的专业深度——格局会相当清楚:
dbt 站在专业转换的深水区,Dagster 站在编排的广度区,而一体化数据平台试图两头都占——但代价是灵活性。这也是为什么大量团队最终选择「dbt + 编排器」的组合,而不是把宝全押在某一个平台上。
真正危险的位置是中间:既没有 dbt 那种模型管理和测试体系的深度,又没有编排器那种运行时可靠的广度。这一层正是 v2 想要甩开、也正在甩开的。
🤖 manifest.json 之死,是在给 AI 铺路
下一代的元数据消费者,可能不是人。
v2 里最容易被低估的改动,是把 manifest.json 换成「更小、可查询的文件」。表面看是工程优化——巨型 JSON 文件难加载、难检索、难做增量。但官方表述里有个关键词值得反复读:「for people and AI」。
这背后的产业逻辑是:当 AI Agent 开始进入数据平台的工作流——理解模型依赖、生成文档、排查血缘、辅助写测试——它们需要的不是一坨几百兆的 JSON,而是结构化、可查询、按需取用的元数据切片。谁的数据平台元数据先变成 AI 友好的形态,谁的工具链就先被 Agent 生态优先调用。
转化层的价值正在从「帮人写 SQL」扩展为「为 AI 提供可理解的语义地图」。dbt 的 ref() 依赖图、模型测试、文档,天然就是一张机器可读的数据语义网络。v2 把这张网络的载体瘦身重构,等于提前给 Agent 时代备好了入口。
⚠️ 那什么时候,只用一个就够了?
写那篇对比文章的作者自己,生产管道只跑 Dagster,没有 dbt。
这句话很有分量。他给出的判断是:有些场景,跳过 dbt 恰恰是正确的选择。什么时候?
- 转换逻辑以 Python 为主:如果你的数据加工大量依赖任意 Python 逻辑,而不是以 SQL 模型为中心,dbt 的价值大打折扣——它本质是 SQL 转换框架。
- 血缘和质量检查在编排器里已经够用:Dagster 有自己的 asset checks 和基于依赖声明的血缘图,覆盖面包括加载代码在内的全链路。如果团队不需要 dbt 那套 SQL 模型的测试体系(
not_null、unique等),重叠部分确实可以省掉。 - 管道规模小、SQL 模型少:为几十个 SQL 文件引入一整套模型管理框架,属于杀鸡用牛刀。
反过来,如果你的核心资产是大量 SQL 模型、需要模型级测试和文档体系、团队希望用声明式的方式管理数仓依赖——那 dbt 不但不多余,而且是转换层的事实标准。
选型的本质问题不是「哪个更好」,而是「你的资产形态是 SQL 还是 Python」。 资产形态决定了分层方式,分层方式决定了工具组合。这也是为什么那个 Reddit 帖子永远吵不出统一答案:大家手里的问题根本不是同一个问题。
小结
dbt v2 的三刀——打包适配器、提速解析、重构元数据产物——表面是工程优化,底层是立场表态:转换层做深做专,把调度、重试、分区这些运行时职责留还给编排器。而「可查询的小文件」则为 AI 时代的元数据消费提前铺了路。对于还在纠结「dbt 和 Dagster 要不要都上」的团队,答案从来不在工具对比表里,而在你自己的资产形态里。下一阶段的看点,是 Agent 们会优先选择哪一层的元数据作为入口。