做RAG的人，都算错了这笔账

做检索增强的人，人人都会算embedding的调用费，却几乎没人算向量本身要占多少地方。最近博主大Token用一段纯算术脚本把这笔账摊开了，结果指向一个被普遍低估的事实：向量知识库的大头成本，不在API账单上，而在存储和内存里。这不是个案，而是整个AI数据基础设施正在发生的重心迁移——当Agent跑得更久、知识库越建越大，存储第一次走到了数据智能舞台的中央。

📐 一笔被忽略的账：向量到底占多少地方

故事的起点很朴素。大Token在建知识库做检索时，发现同行聊成本只聊调用费，于是用Python 3.13标准库写了个测量脚本（outputs/vector_store_measure.py），场景设定为100万条文本块、每块500 token——一个典型中型企业级知识库的体量。

按OpenAI官方文档，text-embedding-3-small默认输出1536维，text-embedding-3-large默认更高维（3072维）。这意味着什么？做个简单算术：一个1536维向量用float32存储就是约6KB，100万条就是6GB起步；如果用large模型，本体直接翻倍到12GB。而这还只是"裸"向量。

从调用费看，100万块×500 token约等于5亿token，按公开定价粗算也就十几美元量级，人民币一百来块。但向量落盘之后的事——索引、内存常驻、副本、备份——才是账单真正开始膨胀的地方。调用费是一次性的，存储费是终身的。

🧊 冰山下面：向量成本的真实结构

向量知识库的成本，是一张典型的冰山图：水面上是人人会算的调用费和QPS，水面下才是工程团队半夜被账单惊醒的部分。

不同精度和维度下，100万向量的存储账大致是这样的：

产业逻辑很清楚：向量数据天然是"维度爆炸"的产物——一条500 token的文本，膨胀成一个比原文还大的浮点数组。当企业把千万、亿级文本块塞进知识库时，向量存储就从"顺手的事"变成了独立的成本中心。这也是为什么量化、降维、稀疏+稠密混合检索这些压缩技术，正在从论文话题变成采购清单上的必选项。

🤖 Agent记忆，正在变成存储问题

向量存储成本只是一半，另一半来自使用方式的变化。Vast Data的CTO最近抛出一个鲜明观点：Agent的记忆，本来就该归存储管。

场景正在变。以前的AI应用是一次性问答，上下文用完即弃；现在的企业Agent会话越跑越长，而且不再属于单次交互——它们需要跨会话保留上下文，还需要一份全企业共享、持久存在的知识底座。这给基础设施带来两重压力：一是容量，记忆数据越积越多；二是数据搬运，记忆要在需要的时候及时出现在Agent面前。

Vast Data给出的答案是分层存储（tiered storage）：热数据放在离计算最近的地方，冷数据沉到对象存储里，按需调度。据多位接近存储厂商的人士透露，过去一年围绕"Agent memory"的基础设施询价明显增多，存储厂商们普遍把这视为继大模型训练存储之后的第二增长曲线。

这背后的判断值得记住：当AI的瓶颈从"能不能算"转向"记不记得住、取不取得到"，存储厂商第一次在AI价值链里拿到了架构级的话语权。向量不再只是数据库的一个索引类型，而是介于内存和磁盘之间、需要专门治理的一类新数据。

⚠️ 别指望引擎救你：一次400美元的教训

如果说向量成本是新问题，那下面这个案例就是老问题的最新版本。一位工程师在深夜被笔记本电脑风扇的轰鸣吵醒——PagerDuty都没来得及叫醒他。监控面板上一个平时12秒加载的报表，跑了14分钟后抛出RESOURCE_EXHAUSTED。

背景是团队正在迁移：用Databricks SQL（Serverless）和BigQuery的BigLake，对4TB、放在S3上的Parquet文件做核心报表层测试。团队想当然地认为"抽象层会搞定一切"。结果查询调度器超时，BigQuery则为一次探索性分析刷出了400美元账单。

问题出在哪？一张按天分区的反规范化大事实表，去join一张被人误存成一千个小JSON文件的维度表。Databricks那边，SQL Warehouse设为Pro档、开了Auto-stop，一个跑在非分区列上的复杂窗口函数直接把spill-to-disk指标打爆，io.file.write.bytes直线飙升。

这场翻车验证了一句业内私话："引擎会自己搞定"，是工程师为了避免读文档而对自己撒的谎。 无论是湖仓还是数仓，物理布局——分区、文件大小、数据组织——永远是性能和成本的第一性变量。这与向量存储的成本逻辑惊人地一致：抽象层能帮你写SQL，不能帮你省账单。

🔋 分层存储，向量时代的成本解法

把三条线索放在一起，能看到一幅正在成形的格局图：

各个环节的玩家，正在用不同的技术门槛赌不同的商业位置：

产业逻辑分三层看。短期，专用向量数据库吃到了RAG第一波红利，但全内存路线在成本上很快撞墙；中期，Databricks、Vast Data这类有存储底座的玩家，把向量纳入分层存储体系，用"热数据进内存、冷数据进对象存储"重构成本曲线；长期，量化和降维会像数据库里的压缩一样成为标配，而懂存储物理布局的团队，将在同等模型效果下跑出数倍的成本优势。

值得注意的时间线是：RAG热潮把向量推向舞台是前年的事，Agent记忆把存储需求放大是去年的事，而存储厂商公开争夺Agent记忆话语权，就发生在当下——这场重心迁移还在进行时。

回到开头那笔账。大Token的测算之所以值得传播，不是数字本身，而是它戳破了行业的算账习惯：AI的成本叙事正在从算力侧向数据侧转移，而数据侧的账，藏在存储、索引和副本里。接下来一年，看一家AI基础设施公司靠不靠谱，先看它敢不敢把冷数据的去向写进方案。算不清存储账的AI项目，和当年算不清带宽账的视频公司一样，账单会替它们补课。