数据栈的新生意，是给AI当上下文

数据栈正在发生一次安静的换血。一头是 MotherDuck 把千亿行公开网页数据当成随取随查的查询对象，不搭集群、不下载数据；另一头是 Fivetran 和 dbt Labs 在 dbt Summit 2026 上把整条产品线对准了一个新客户——AI Agent。两条路线看似不相干，其实指向同一个判断：数据的消费者变了，基础设施就得重排座次。这篇文章拆开看，这两拨人各自赌的是什么，以及这条新路上还有哪些没填的坑。

📈 千亿行数据，这次没人在下载

做数据分析的老兵都记得那种滋味：想分析一个公开大数据集，第一周全耗在下载数据上。

Common Crawl 是一个持续抓取全网网页的非营利项目，它把抓到的数据——体量是PB级——直接发布在S3上（见 AWS 开放数据注册表）。这个数据集的索引规模达到1000亿行。放在十年前，这意味着要么下载到本地硬盘，要么起一个Spark集群分片处理。而 DuckDB 加 MotherDuck 给出的做法是：直接对S3上的数据发起查询，不下载、不建集群（参考 MotherDuck 博客的演示）。

同样的数据，三条路的成本结构完全不同：

这里的产业逻辑一句话就能说清：过去二十年的默认假设是「数据搬到算力那」，整个集成与管道赛道都建在这个假设上；而当单机嵌入式引擎足以处理GB到TB级数据、再叠加云上弹性算力时，反向假设出现了——让查询去数据那，数据别动。S3上的开放数据集只是最先暴露这个变化的场景，因为它没有组织内部的历史包袱，谁都可以上来就查。企业内部的数据湖，迟早会走同样的路。

圈子里私下流行一句话：最好的数据管道，是让你感觉不到管道存在的那条。

🔋 谁在给网页注水，SQL说了算

一段SQL跑在千亿行网页数据上，量出来的不是流量，而是一个时代的速度。

MotherDuck这次演示的具体用例很有代表性：用SQL直接度量「vibe-coded web」——也就是AI生成网页内容——的增长速度。换句话说，一个公开的网页爬取数据集，正在变成整个行业观察AI内容渗透率的温度计。以前做这类研究，需要研究团队申请经费、搭环境、爬数据；现在一条SQL就能把趋势拉出来。

这正是公共数据集的新角色。PB级的Common Crawl躺在S3上多年，一直被视为学术资源，查询门槛把绝大多数从业者挡在门外。当查询门槛降到一条SQL，它就从「存档」变成了「可即时验证的事实来源」：

产业逻辑在于：数据的可及性决定数据的用途。查询成本从「搭建一个团队」降到「写一条SQL」，消费者就从少数研究者扩展到所有从业者。对数据要素流通这条线的人来说，这是个重要参照物：让数据动起来的最好方式，往往不是搬运数据，而是把查询的门槛打下来。

一句话总结这一节：数据不怕大，怕的是没人问得起。

🧠 dbt Summit 2026，发布的是上下文

一边是查询端在甩掉集群，另一边，建模和集成端在换掉自己的叙事。

在dbt Summit 2026上，Fivetran和dbt Labs公布了一组组合拳（详见 发布会信息）：dbt v2和dbt State正式GA，同时首次亮相三个新东西——Fivetran Context Layer、dbt Charts，以及一个「开放湖仓」愿景。发布会的主标题写得很直白：让企业数据「Agent-Ready」，即为AI Agent准备好。

值得注意的是产品序列里的信号。Fivetran起家是数据集成，dbt Labs起家是分析建模，两家的传统客户是分析师和数据工程师。而这次发布里，Context Layer向上服务Agent，dbt Charts向人交付图表——同一次发布里同时押注两种消费者。这组发布背后，是同一家公司在重新划分「谁读数据」：人读数据用Charts，Agent读数据用Context Layer。

产业逻辑很清楚：当最大增量客户从「分析师」变成「Agent」，产品的接口定义就要重写。Agent读数据不是看图表，而是要拿到带语义、带血缘、带业务口径的上下文——这正是Context Layer这个名字的含义。数据栈的中间件，正在从「搬数据的管道」变成「喂上下文的供给线」。

🤖 Agent要的不是报表，是敢用的数据

把发布会的产品序列连起来，就是一张完整的栈图：

栈里最关键的一层是Context Layer，但决定这一层价值的，是下面两层。Agent要可靠地干活，它拿到的上下文必须回答三个问题：这个数是准的吗？这个口径是谁定的？这个结论的血缘能追到哪？dbt State GA的意义就在这——数据状态可追踪，是上下文可信的前提。没有状态追踪的Context Layer，喂给Agent的只是看起来像上下文的字符串。

圈子里私下流行一句话：Agent不缺模型，缺的是敢让它碰的生产数据。翻译成工程语言就是——数据栈对AI的「就绪度」，瓶颈不在模型侧，而在数据侧的可信、可追溯、可授权。这也是为什么「Agent-Ready」会成为一个发布会的主题词：它意味着数据团队终于要正式回答一个问题——过去给人用的数据治理标准，够不够机器用。

产业逻辑上有两条判断。第一，「开放湖仓」愿景不是姿态，而是前置条件：Agent要跨系统取上下文，底座越开放、越标准化，上下文的组装成本越低，被单一引擎锁死的代价越高。第二，Context Layer这个位置的竞争会很激烈——它是新栈里离价值最近的中间层，谁的上下文先被Agent生态默认接入，谁就拿到了AI时代数据栈的入口。未来的「数据中台」之争，会以「上下文层」的名义再打一轮。

一句话总结：管道卖的是搬运，上下文卖的是信任。

⚠️ 开放湖仓愿景，愿景之外还有三道坎

每一次架构宣言都很动人，落地时才会暴露真正的难度。

第一道坎是治理与安全。 Context Layer把上下文喂给Agent，意味着数据访问从「人审批、人查询」变成「机器自主取数」。落到工程上，至少要补齐四件事：

• 字段级与意图级授权：权限模型不能停留在表级，要能区分「Agent可以读脱敏后的订单金额，但不能读用户手机号」这类细粒度规则；
• 全链路审计：审计日志要能回答「Agent这次取数用了哪些表、基于哪些口径、做了什么推断」，并且可供事后回放；
• 输出侧防泄漏：Context Layer不仅要控输入，还要控Agent拿上下文生成的答案会不会把敏感数据带出去；
• 人机双轨审批：高风险取数保留人工确认环节，低频长尾查询走自动化策略。

公共数据集可以免鉴权直查，企业内部的数据永远不行——这条边界，恰恰是新栈最难的部分。

第二道坎是成本与可靠性。 免集群直查听起来省钱，但「无前置成本」不等于「无运行成本」。两类成本结构要分开算：

MotherDuck这类服务的计费逻辑，需要用户对自己的查询模式有基本预判；而Agent驱动的查询是长尾且突发的，突发查询风暴怎么限流、怎么兜底，是所有serverless查询服务都要过的关。对数据平台负责人来说，新栈省下的是运维成本，新增的是可观测性成本——这笔账要算清楚。

第三道坎是组织的惯性。 传统数仓团队积累了十年的是「先建模再消费」的纪律，新叙事鼓励「先消费再收敛」的敏捷。两者不是替代关系，而是分层关系：核心财务口径仍然要建模先行，探索性分析可以贴着湖直查。真正健康的企业数据栈，是新旧两条消费路径并行、由同一套治理规则约束的栈。把旧栈一夜拆掉换新叙事的团队，通常会在第二个季度把旧栈又请回来。

产业逻辑上的判断是：这一轮数据栈重构，技术上的不确定性不大——嵌入式引擎、开放湖仓、上下文层，方向都被验证过了。真正的不确定性在于组织的消化速度。基础设施的换代从来不是发布会决定的，是财报里的成本曲线决定的。

🗺️ 从管道公司到上下文公司

把两条线放在一起，才能看清这次数据栈换血的完整拼图。

DuckDB和MotherDuck证明的是：查询可以贴着存储走，千亿行数据可以没有集群。Fivetran和dbt Labs证明的是：供给可以贴着消费者走，消费者如今一半是Agent。一个拆掉了「数据必须搬运」的假设，一个拆掉了「数据只给人看」的假设。两件事叠加，传统的「集成—建模—仓库—报表」四段式数据栈，正在被压缩成「开放存储+嵌入式/云上查询+上下文供给」的三件套。

对从业者来说，接下来值得盯住三件事：一是Context Layer的开放程度——它是成为行业标准，还是沦为某家产品的私有接口；二是嵌入式查询与云查询的边界如何演化——本地缓存、边缘算力和云上弹性之间的分工还没有定论；三是治理体系何时长出「面向机器消费」的原生能力——这是Agent-Ready叙事从发布会走向生产环境的分水岭。

数据栈的下一场竞争，不是谁算得快，而是谁的数据先被AI信任。千亿行网页可以被一条SQL问倒，但企业内部那点数据，要让Agent敢用，还有很长的路要走——而路的那头，才是真正的市场。

小结：从MotherDuck直查千亿行网页，到dbt Labs把Context Layer推上台，数据栈的两次假设崩塌发生在同一年：数据不必搬运，数据不只给人。下一阶段的胜负手不在引擎性能，而在上下文层的开放度与治理厚度。谁能先让AI「敢用」企业数据，谁就拿到下一个十年的船票。

参考资料

• Common Crawl 项目概览与数据规模：https://commoncrawl.org/overview
• AWS 开放数据注册表 · Common Crawl：https://registry.opendata.aws/commoncrawl/
• DuckDB 官网：https://duckdb.org
• MotherDuck 博客（S3直查与Common Crawl演示）：https://motherduck.com/blog/
• dbt Summit 2026 发布会信息：https://www.getdbt.com/dbt-summit
• Fivetran 官网：https://www.fivetran.com