manifest.json 退役,dbt v2 图什么
📋 总体概括
dbt v2 带来更快解析、统一 adapter 层和更小可查询的元数据文件,同时社区关于 dbt 与 Dagster 是否重复付费的争论被摆上台面。本文拆解这次版本升级背后的产品逻辑:转换框架与编排器的边界重划,以及元数据从大文件走向人机共读的产业转向。
📄 正文
manifest.json 退役,dbt v2 图什么
一大早刷到 dbt Labs 的发布公告时,我第一反应不是看新功能清单,而是去找一个东西——manifest.json 还在不在。
答案是不在了。dbt v2 一次带上了三件事:更快的解析速度、一个共享的 adapter 层把各家适配器打包收编,以及一套替代巨型 manifest.json 的、更小且可直接查询的元数据文件。官方那句描述很微妙:这些文件是写给 people and AI 的——写给人,也写给 AI。
与此同时,另一个老问题还在社区发酵:既然都上 Dagster 了,还需要 dbt 吗?这个问题的搜索结果里排在第二名的是一条 Reddit 帖子。搜索引擎的排名不会说谎——这说明困惑是真实的、普遍的。
我的核心判断是:dbt v2 不只是一次性能升级,它是一次边界重划。转换框架往元数据走,编排器往全链路走,中间那块重叠地带,正是这一代数据平台必须重新定价的地方。
🚀 解析不再泡咖啡:性能工程回归主线
跑过大项目的人都知道那种等待。
dbt build 敲下去,进度条卡在 parse 阶段,几百上千个 SQL 模型一个个被编译、解析依赖,团队规模一大,这个阶段能拖到让人去泡杯咖啡再回来。解析速度从来不是功能列表里的明星,但它是每一个日常使用者天天在付的隐性成本。
dbt v2 把「更快的 parsing」放进了首批升级清单。这不是炫技,是对最痛的日常体验动刀。
从产业逻辑看,这个信号比功能本身更重要。过去两年,数据工具的竞争叙事被 AI 功能抢走了太多注意力,而 dbt v2 的第一波升级全部砸在工程底座上:解析性能、适配器架构、元数据结构。这是典型的新官上任式的表态——先把地基的债还掉,再谈增长。
对使用者来说,判断一个框架是否还有长期生命力,看的恰恰是这种「不性感」的投入。愿意花力气缩短 parse 时间的产品,通常比只会堆新概念的产品更值得押注。
🧩 一个共享 adapter 层,把「方言税」降下来
每一套数据仓库,都有自己的脾气。
dbt 的能力建立在 adapter 体系上:不同仓库各有适配器,把统一的 SQL 模型语义翻译成目标平台的方言。但现状是,这些 adapter 长期各自为政——功能不对齐、发布节奏不同步、用户换一个仓库就要重新踩一遍坑。这就是多仓团队一直在交的「方言税」。
v2 的解法是把 adapter 打包进发行版,并下沉一个共享的 adapter 层。用一个层来收敛公共逻辑,各家方言差异被压到最薄。
从架构视角看这个变化的意义:
产业判断是:框架类产品的护城河正在换位置。第一阶段比的是「你支持多少个仓库」,数量即正义;第二阶段比的是「跨仓库的一致性有多高」——同样的 ref()、同样的测试语义、同样的行为表现,换平台不改心智。当企业客户越来越倾向于多仓策略(一套分析负载在这个仓库、AI 负载在另一个仓库),一致性就是采购决策里最硬的指标。
共享 adapter 层本质上是在把碎片生态焊成一个标准。谁掌握了标准,谁就掌握了下一轮谈判桌上的位置。
📉 manifest.json 退休:元数据从「文件」变成「接口」
manifest.json 之死,是这次升级里最有意思的一刀。
做过 dbt 工程的人对这个文件又爱又恨:它是全量血缘的序列化产物,几乎所有 CI 检查、影响分析、下游告警都靠它。但代价同样明显——项目一大,文件巨大无比,每次流水线都要完整加载、解析一遍,纯粹为了取里面几十 KB 的有效信息。
v2 用一组更小的、可查询的文件取代了它。注意关键词:可查询。元数据不再是「一次导出、全量加载」的静态大文件,而是可以按需取用、按条查询的数据集。
把 v2 的核心变化放在一张表里看更清楚:
| 维度 | 旧方案 | dbt v2 |
|---|---|---|
| 适配器架构 | 各仓库 adapter 各自维护 | 打包发行 + 共享 adapter 层 |
| 解析性能 | 大项目 parse 阶段冗长 | 显著加快解析 |
| 元数据形态 | 巨型 `manifest.json` 全量文件 | 更小、可查询的分文件 |
| 元数据消费者 | 人 + CI 流水线 | 人 + CI + AI |
产业逻辑层面,我认为这一刀砍向的不只是文件格式,而是元数据的消费模式。过去元数据是给人看的文档,顶多喂给 CI 脚本;现在官方直接点名 AI 也是消费者。可以推演的路径是:未来 AI Agent 在数据平台上做影响分析、写新模型、跑质量检查时,不再需要人工先打开一张血缘图——它直接查元数据接口。元数据从「副产品」升级为「产品接口」,这是数据平台面向 AI 时代的入场券。
⚔️ dbt 和 Dagster 之争:重叠在中间,答案在边界
「既然有 Dagster,为什么还要 dbt?」
这个问题的 Google 搜索结果里,第二名是一条 Reddit 帖子。一个工具的官网内容排不进前二,反倒是社区的吐槽帖占了坑——说明这不是营销造出来的伪问题,是一线工程师真实在吵的活问题。
困惑的来源很清晰:两个工具都画血缘图、都能定时跑、都做测试。看起来像在为同样的能力付两次钱。
但定位拆开看,重叠只是中间一小块:
| 维度 | **dbt** | **Dagster** |
|---|---|---|
| 本质定位 | SQL 转换框架 | 编排器 |
| 输入形态 | SELECT 语句 + Jinja 模板 | 任意 Python 代码 |
| 依赖处理 | 靠 `ref()` 推断执行顺序 | 靠声明的依赖建图 |
| 血缘覆盖 | 单一仓库内的 SQL 模型 | 全链路,含加载等 Python 环节 |
| 质量测试 | `not_null`、`unique`、自定义 SQL | asset checks 资产检查 |
| 调度能力 | 不自带,需外部调用 `dbt build` | 原生调度、重试、分区追踪 |
一句话总结:dbt 负责把一文件夹 SELECT 变成有顺序、有测试的表和视图;Dagster 负责决定什么时候跑、失败了怎么重试、每次运行产出了什么、分区怎么追踪。dbt 的血缘图管不到仓库外的事,Dagster 的图把 Python 加载环节全部罩住。两者重叠的只有血缘和测试这两个交界面,重叠区正是混淆滋生的地方。
写成一条链路就一目了然:
据社区里的讨论氛围看,很多团队真正纠结的从来不是功能对比,而是团队心智成本——两套概念、两套测试语义、两张血缘图,新人得学两遍。
💡 什么时候可以不装 dbt
有一个容易被吵架双方忽略的事实:dbt 不是必选项。
写出那篇爆火对比文章的作者自己就说过,他的生产管道完全跑在 Dagster 上,一个 dbt 都没用。这很诚实,也很典型。
什么时候跳过 dbt 是对的?沿他的思路推演:如果你的数据栈里转换逻辑天然是 Python 的——加载、清洗、特征加工全在代码里,只有零星几条 SQL——那 dbt 引入的文件夹式模型组织、Jinja 模板、ref() 体系就是额外的心智负担,Dagster 的 asset 体系加资产检查已经覆盖了你要的东西。
反过来,什么时候 dbt 不可替代?当转换层以 SQL 为绝对主体、团队是分析师驱动、需要靠统一的模型语义和测试标准来约束仓库内的数据质量时,dbt 的抽象就是生产力。
💡 写在最后
回到标题的问题:manifest.json 退役,dbt v2 到底图什么?
我的答案是三件事一起图:图性能——把日常最痛的解析等待砍掉;图标准——用共享 adapter 层把多仓「方言税」收归统一;图未来——把元数据从巨型文件改成小而可查询的接口,顺手把 AI 拉进消费者名单。而 dbt 与 Dagster 之争的吵吵闹闹,恰好从外部印证了这个判断:转换和编排的边界正在重划,谁把重叠地带的体验做顺,谁就能吃下中间那块市场。
下一阶段值得盯的信号有两个:一是 v2 的小粒度元数据文件会不会成为各编排器对接的事实标准;二是 AI Agent 直接消费元数据做自动化建模的案例什么时候跑进生产环境。如果这两件事在一两年内发生,这次看起来安静的版本升级,会被回头看成一次节点。
说到底,数据基础设施的进步从来不在发布会的高潮里,而在每一次构建少等的几秒钟、每一个不再需要全量加载的流水线里。慢功夫,才是硬功夫。
本文由本站 AI 辅助聚合生成,原始来源如下: