集成与管道产品技术评论分析· 4653 字· 约8分钟阅读

manifest.json 退役,dbt v2 图什么

A
AI编辑团队AI 原创内容
2026-11-15 04:24 发布· 本文由作者与AI协作完成
本内容由人工智能生成,仅供研究参考,不构成投资建议。
💡

dbt v2 带来更快解析、统一 adapter 层和更小可查询的元数据文件,同时社区关于 dbt 与 Dagster 是否重复付费的争论被摆上台面。本文拆解这次版本升级背后的产品逻辑:转换框架与编排器的边界重划,以及元数据从大文件走向人机共读的产业转向。

manifest.json 退役,dbt v2 图什么

一大早刷到 dbt Labs 的发布公告时,我第一反应不是看新功能清单,而是去找一个东西——manifest.json 还在不在。

答案是不在了。dbt v2 一次带上了三件事:更快的解析速度、一个共享的 adapter 层把各家适配器打包收编,以及一套替代巨型 manifest.json 的、更小且可直接查询的元数据文件。官方那句描述很微妙:这些文件是写给 people and AI 的——写给人,也写给 AI。

与此同时,另一个老问题还在社区发酵:既然都上 Dagster 了,还需要 dbt 吗?这个问题的搜索结果里排在第二名的是一条 Reddit 帖子。搜索引擎的排名不会说谎——这说明困惑是真实的、普遍的。

我的核心判断是:dbt v2 不只是一次性能升级,它是一次边界重划。转换框架往元数据走,编排器往全链路走,中间那块重叠地带,正是这一代数据平台必须重新定价的地方。

🚀 解析不再泡咖啡:性能工程回归主线

跑过大项目的人都知道那种等待。

dbt build 敲下去,进度条卡在 parse 阶段,几百上千个 SQL 模型一个个被编译、解析依赖,团队规模一大,这个阶段能拖到让人去泡杯咖啡再回来。解析速度从来不是功能列表里的明星,但它是每一个日常使用者天天在付的隐性成本。

dbt v2 把「更快的 parsing」放进了首批升级清单。这不是炫技,是对最痛的日常体验动刀。

从产业逻辑看,这个信号比功能本身更重要。过去两年,数据工具的竞争叙事被 AI 功能抢走了太多注意力,而 dbt v2 的第一波升级全部砸在工程底座上:解析性能、适配器架构、元数据结构。这是典型的新官上任式的表态——先把地基的债还掉,再谈增长。

对使用者来说,判断一个框架是否还有长期生命力,看的恰恰是这种「不性感」的投入。愿意花力气缩短 parse 时间的产品,通常比只会堆新概念的产品更值得押注。

🧩 一个共享 adapter 层,把「方言税」降下来

每一套数据仓库,都有自己的脾气。

dbt 的能力建立在 adapter 体系上:不同仓库各有适配器,把统一的 SQL 模型语义翻译成目标平台的方言。但现状是,这些 adapter 长期各自为政——功能不对齐、发布节奏不同步、用户换一个仓库就要重新踩一遍坑。这就是多仓团队一直在交的「方言税」。

v2 的解法是把 adapter 打包进发行版,并下沉一个共享的 adapter 层。用一个层来收敛公共逻辑,各家方言差异被压到最薄。

从架构视角看这个变化的意义:

产业判断是:框架类产品的护城河正在换位置。第一阶段比的是「你支持多少个仓库」,数量即正义;第二阶段比的是「跨仓库的一致性有多高」——同样的 ref()、同样的测试语义、同样的行为表现,换平台不改心智。当企业客户越来越倾向于多仓策略(一套分析负载在这个仓库、AI 负载在另一个仓库),一致性就是采购决策里最硬的指标。

共享 adapter 层本质上是在把碎片生态焊成一个标准。谁掌握了标准,谁就掌握了下一轮谈判桌上的位置。

📉 manifest.json 退休:元数据从「文件」变成「接口」

manifest.json 之死,是这次升级里最有意思的一刀。

做过 dbt 工程的人对这个文件又爱又恨:它是全量血缘的序列化产物,几乎所有 CI 检查、影响分析、下游告警都靠它。但代价同样明显——项目一大,文件巨大无比,每次流水线都要完整加载、解析一遍,纯粹为了取里面几十 KB 的有效信息。

v2 用一组更小的、可查询的文件取代了它。注意关键词:可查询。元数据不再是「一次导出、全量加载」的静态大文件,而是可以按需取用、按条查询的数据集。

把 v2 的核心变化放在一张表里看更清楚:

维度旧方案dbt v2
适配器架构各仓库 adapter 各自维护打包发行 + 共享 adapter 层
解析性能大项目 parse 阶段冗长显著加快解析
元数据形态巨型 `manifest.json` 全量文件更小、可查询的分文件
元数据消费者人 + CI 流水线人 + CI + AI

产业逻辑层面,我认为这一刀砍向的不只是文件格式,而是元数据的消费模式。过去元数据是给人看的文档,顶多喂给 CI 脚本;现在官方直接点名 AI 也是消费者。可以推演的路径是:未来 AI Agent 在数据平台上做影响分析、写新模型、跑质量检查时,不再需要人工先打开一张血缘图——它直接查元数据接口。元数据从「副产品」升级为「产品接口」,这是数据平台面向 AI 时代的入场券。

⚔️ dbt 和 Dagster 之争:重叠在中间,答案在边界

「既然有 Dagster,为什么还要 dbt?」

这个问题的 Google 搜索结果里,第二名是一条 Reddit 帖子。一个工具的官网内容排不进前二,反倒是社区的吐槽帖占了坑——说明这不是营销造出来的伪问题,是一线工程师真实在吵的活问题。

困惑的来源很清晰:两个工具都画血缘图、都能定时跑、都做测试。看起来像在为同样的能力付两次钱。

但定位拆开看,重叠只是中间一小块:

维度**dbt****Dagster**
本质定位SQL 转换框架编排器
输入形态SELECT 语句 + Jinja 模板任意 Python 代码
依赖处理靠 `ref()` 推断执行顺序靠声明的依赖建图
血缘覆盖单一仓库内的 SQL 模型全链路,含加载等 Python 环节
质量测试`not_null`、`unique`、自定义 SQLasset checks 资产检查
调度能力不自带,需外部调用 `dbt build`原生调度、重试、分区追踪

一句话总结:dbt 负责把一文件夹 SELECT 变成有顺序、有测试的表和视图;Dagster 负责决定什么时候跑、失败了怎么重试、每次运行产出了什么、分区怎么追踪。dbt 的血缘图管不到仓库外的事,Dagster 的图把 Python 加载环节全部罩住。两者重叠的只有血缘和测试这两个交界面,重叠区正是混淆滋生的地方。

写成一条链路就一目了然:

据社区里的讨论氛围看,很多团队真正纠结的从来不是功能对比,而是团队心智成本——两套概念、两套测试语义、两张血缘图,新人得学两遍。

💡 什么时候可以不装 dbt

有一个容易被吵架双方忽略的事实:dbt 不是必选项。

写出那篇爆火对比文章的作者自己就说过,他的生产管道完全跑在 Dagster 上,一个 dbt 都没用。这很诚实,也很典型。

什么时候跳过 dbt 是对的?沿他的思路推演:如果你的数据栈里转换逻辑天然是 Python 的——加载、清洗、特征加工全在代码里,只有零星几条 SQL——那 dbt 引入的文件夹式模型组织、Jinja 模板、ref() 体系就是额外的心智负担,Dagster 的 asset 体系加资产检查已经覆盖了你要的东西。

反过来,什么时候 dbt 不可替代?当转换层以 SQL 为绝对主体、团队是分析师驱动、需要靠统一的模型语义和测试标准来约束仓库内的数据质量时,dbt 的抽象就是生产力。

dbt 与 Dagster 之争的务实解法
痛点 1
看两张血缘图,以为在重复付费
→
解法
认清分工:转换框架与编排器各管一段,重叠仅限血缘与测试
痛点 2
两套工具概念多,新人学习成本高
→
解法
按团队主体选主轴:分析师驱动选dbt为主,工程团队Python为主可只用编排器
痛点 3
测试语义不一致,质量口径对不上
→
解法
明确边界:仓库内SQL质量交给dbt测试,端到端质量交给资产检查
痛点 4
大项目解析慢、元数据文件臃肿
→
解法
升级到v2:更快解析加可查询的小粒度元数据文件

💡 写在最后

回到标题的问题:manifest.json 退役,dbt v2 到底图什么?

我的答案是三件事一起图:图性能——把日常最痛的解析等待砍掉;图标准——用共享 adapter 层把多仓「方言税」收归统一;图未来——把元数据从巨型文件改成小而可查询的接口,顺手把 AI 拉进消费者名单。而 dbt 与 Dagster 之争的吵吵闹闹,恰好从外部印证了这个判断:转换和编排的边界正在重划,谁把重叠地带的体验做顺,谁就能吃下中间那块市场。

下一阶段值得盯的信号有两个:一是 v2 的小粒度元数据文件会不会成为各编排器对接的事实标准;二是 AI Agent 直接消费元数据做自动化建模的案例什么时候跑进生产环境。如果这两件事在一两年内发生,这次看起来安静的版本升级,会被回头看成一次节点。

说到底,数据基础设施的进步从来不在发布会的高潮里,而在每一次构建少等的几秒钟、每一个不再需要全量加载的流水线里。慢功夫,才是硬功夫。