🏢 公司C档 · NaN分

Agent的记忆,正在改写存储规则

··约1分钟阅读

📋 总体概括

一条12秒的看板查询跑成14分钟,一张400美元的探索性账单,Vast Data则放话Agent记忆该归存储管。三件事指向同一个判断:引擎层产品力被拉平后,存储与数据布局才是成本和架构的胜负手。本文拆解三家公司打法,看清存储时代的新牌桌。

📄 正文

凌晨三点,一条平时 12 秒加载完的看板,转了 14 分钟,最后甩出一个 RESOURCE_EXHAUSTED。同一时期,Vast Data 的 CTO 对外放话:AI Agent 的记忆,就该放进存储层。两件事看似不搭,其实指向同一个判断——当 SQL 引擎层的产品力被各家拉平,真正决定成本、性能与架构走向的,是存储和数据布局。AI Agent 的到来,把这个老问题第一次推到了牌桌中央。

🔥 凌晨三点,引擎没接住锅

引擎的神话,往往在凌晨三点的告警声里碎掉。

先讲一个真实的现场。PagerDuty 的告警还没来得及响,先吵醒这位工程师的是笔记本风扇——那是某条看板查询在疯狂空转。背景很典型:团队正在做迁移测试,把核心报表层对着放在 S3 上的 4TB Parquet 文件跑,一边是 Databricks 的 Serverless SQL,一边是 BigQuery 加 BigLake,团队的默认假设是"抽象层会兜底"。

兜底没有发生 💥。事实清单相当残酷:一条去规范化的、按天分区的事实表,要去关联一张被人随手存成上千个碎 JSON 文件的维度表。结果 Databricks 侧的查询调度器直接超时,复杂窗口函数扫过未分区列,落盘溢写指标 io.file.write.bytes 一路飙顶;BigQuery 那边更直白——一次探索性分析,跑出了 400 美元的账单 💰。SQL Warehouse 还开着 Auto-stop,等于每次冷启动都在为这条烂布局买单。

做过大型迁移的工程师私下都有同款经历:"以为换了引擎就万事大吉,结果被三年前埋下的小文件雷炸上了天。"

这背后的产业逻辑很简单:引擎决定性能上限,数据布局决定成本下限。"引擎会自己搞定一切",是我们为了不读文档而给自己讲的职业谎言。BigQuery 和 Databricks 的营销幻灯片长得再像,底层的执行模型、计费粒度、对垃圾布局的容错度完全不同。迁移的本质从来不是换引擎,而是重新审视你的分区策略、文件大小和表设计——这些"老手艺"没有因为 Serverless 而消失,反而被抽象层放大了代价。

💾 Agent 的记忆,落在了存储头上

当 Agent 开始有记性,存储就从配角熬成了主角。

Vast Data 的 CTO 提出一个判断:Agent 记忆的需求,天然属于存储层 🧠。原因不复杂——Agent 的会话越跑越长、跨部门蔓延,上下文要保得住、要用时调得出,内存容量和数据搬运两头受压。更关键的是,企业级 Agent 要的不只是单次交互内的 context,还有跨会话、跨 Agent 的持久共享知识——这部分知识必须在内存之外找到归宿。

这套分层并不新鲜——热数据全闪、温数据近线、冷数据归档,是存储行业几十年的老手艺。但 Agent 记忆把分层逻辑的颗粒度打碎了:单条记忆的访问模式不可预测,上一秒还是热数据,一小时后就可能沉入冷层,跳变成为常态 ⚡。

产业判断是:谁能把"记忆的存取"做成一套基础设施,谁就能吃到 Agent 时代最大的红利。纯内存方案太贵,纯对象存储太慢,中间那层全闪/混闪的分层存储,恰好是 Vast Data 这类厂商的舒适区。存储厂商多年来在 AI 训练数据管道里当"搬运工",这一次终于站到了产品的核心位置上——记忆即数据,数据即存储的生意。

🔗 零拷贝,被低估的务实主义

数据不动,比引擎跑得快更值钱。

与 Agent 记忆的前沿叙事相比,Amazon Redshift 的动作显得朴素:通过 Data Sharing 打通生产集群与消费集群,再配合 dbt Cloud 在共享数据上直接构建分析就绪的模型——集群之间零拷贝,一个字节都不用搬,也没有中间 ETL 管道要维护 📜。

这件事的价值要结合数据引力来理解。每多一次数据拷贝,就多一份存储费用、多一条一致性裂缝、多一个半夜要修的管道。零拷贝不是炫技,是一场成本结构手术。

回头看第一节的迁移灾难:4TB Parquet 从原环境搬到 S3,本质就是一次"为了换引擎而搬运",搬运过程中布局失守(上千个小 JSON 文件),成本瞬间爆炸。而零拷贝共享有一个隐含前提——源端的数据布局必须是好的。想不搬数据,就得先把数据治理好,这反而倒逼团队回到基本功上。这是好事。

📊 牌桌变了,存储坐上了庄

三家的打法摆在一张图上,格局一目了然。

Vast Data 卡在右上角的原因是:Agent 记忆直接重构了"数据放哪"这个最底层的架构问题,杠杆最高;Databricks 靠开放格式和湖仓体量稳住身位;BigQuery 与 Redshift 则在各自生态里做纵深。三条路线对比下来:

方案核心主张省的是什么风险与前提
Databricks / BigLake开放格式 + 引擎托管省平台锁定与迁移搬运布局烂照样烧钱
Amazon Redshift Data Sharing零拷贝多集群共享省 ETL 管道与存储副本深度绑定 Redshift 生态
Vast Data 分层存储Agent 记忆入存储层省内存容量与数据搬运需重构记忆的访问路径

把三个痛点和解法放在一起看,趋势更清楚:

存储时代三大痛点与解法
痛点 1
小文件与分区失当,引擎再强也救不回来
→
解法
先治理数据布局,再谈引擎选型
痛点 2
Agent会话记忆撑爆内存,跨会话知识无处安放
→
解法
热温冷分层存储,记忆按需下沉与召回
痛点 3
跨集群数据搬运贵且慢,一致性难保
→
解法
零拷贝共享,数据不动计算动

三条线索汇成一句话:数据基础设施的竞争重心,正在从"算得多快"转向"数据放哪、怎么放、要不要动" 🎯。引擎是租来的算力,存储是沉淀的资产——资产的布局方式,才是一家企业数据架构真正的护城河。

小结

一条 14 分钟的查询、一张 400 美元的账单、一句"Agent 记忆归存储",三件事共同宣告:引擎叙事的红利期接近尾声,存储叙事正在接管下半场。对企业的启示很朴素——选型之前先看布局,上 Agent 之前先想记忆放哪,做共享之前先把源端治好。接下来一年,值得盯的是:Agent 记忆的访问接口会不会出现事实标准,以及零拷贝能否从各家私有能力收敛为开放规范。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)