向量索引的内存账,该重算了
Tiger Data 开源 pg_vectorsearch,用 PRISM 分区压缩索引替代 pgvector 的 HNSW 图索引,主打更低内存与更快建索引。本文从技术路线、竞争格局与工程落地三个角度,拆解向量检索进入 PostgreSQL 深水区后的真实博弈。
PostgreSQL 生态又多了一个向量扩展,这次出手的是 Tiger Data——TimescaleDB 背后的那家公司。
Tiger Data 发布了开源 PostgreSQL 扩展 pg_vectorsearch,目前处于 alpha 阶段,定位是向量相似度检索。它的核心卖点不在于‘又多了一个选择’,而在于技术路线的分歧:其 PRISM 索引用数据分区加压缩来实现检索,而不是 pgvector HNSW 那套基于图的方法,目标是把内存需求和索引构建时间压下来。
向量检索这件事,正在从‘专用数据库的独门生意’变成‘关系型数据库的标配功能’。而当所有人都挤进同一条赛道时,竞争的焦点就从‘能不能做’变成了‘谁的成本结构更优’。pg_vectorsearch 的出现,等于把这笔账重新摊到了桌面上。
🚀 一、PostgreSQL 的引力:为什么又是扩展这条路
社区里流传着一句半开玩笑的话:‘每个 Postgres 用户,最后都会给表加一列 vector。’
这句话夸张,但方向没错。RAG 应用兴起后,大量团队的第一反应不是再引入一套专用向量数据库,而是看看手里的 PostgreSQL 能不能顺手干这件事——数据已经在里面了,应用连接池、备份、权限、监控全是现成的,为什么要为几百 GB 的向量再养一个系统?
pgvector 正是踩中了这个心理,一步步成了 Postgres 向量检索的事实标准。而 Tiger Data 作为一家从时序数据库起家、深度绑定 Postgres 生态的公司,显然不可能对这个位置无动于衷。
它的选择不是在 pgvector 上打补丁,而是另起炉灶做了 pg_vectorsearch,并且从第一天就开源、以 alpha 形态接受社区检验。
这背后的产业逻辑值得琢磨:Postgres 已经成了 AI 时代数据基础设施的引力中心,所有新的数据能力——时序、向量、全文、JSON——最终都要回答同一个问题:你是以独立系统的姿态存在,还是以扩展的姿态寄生在 Postgres 上?
扩展路线的好处是顺承生态、降低迁移摩擦;坏处是被内核的能力边界约束。Tiger Data 选了后者,说明它判断向量检索的主流战场将继续留在关系型数据库内部,而不是回流到专用引擎。
🧮 二、图索引的账,PRISM 用分区和压缩重算
HNSW 是一把好刀,但它有一个工程上绕不开的代价:图要常驻内存。
近邻图索引的工作原理,决定了查询时要沿着图的边不断跳转,为了保住低延迟,图的邻居关系必须尽可能留在内存里。向量本身又很占地方——一个 1536 维的 float32 向量就是约 6KB,一亿条向量光是原始数据就是数百 GB 量级,图结构再往上叠一层。内存,成了向量检索成本结构里最重的那一块。
同样沉的还有索引构建时间。往图里插入向量需要反复计算距离、维护连接关系,数据量越大、维度越高,建索引的过程就越煎熬。做过大规模召回重建的工程师,对那种‘跑一晚上还没跑完’的体感都不陌生。
PRISM 的思路是绕开图:用数据分区把向量切成可管理的块,再用压缩把单块的内存足迹压下去。检索时先定位到相关分区,再在局部完成相似度计算。
具体到数字,Tiger Data 的发布说明和 PRISM 技术报告给出的官方口径是:在典型 embedding 数据集(如 1536 维 OpenAI 向量)上、以相同召回率为前提,PRISM 相比 pgvector 的 HNSW 索引,内存占用最高可降低约 16 倍,索引构建时间最高可缩短约一半,查询延迟保持在同一量级。内存收益的来源也很直白:HNSW 除了原始向量还要维护邻居连接表,而 PRISM 通过分区消除了全局图结构,再用量化压缩把单个向量的常驻内存从约 6KB 压到一个数量级更低的水平。
必须强调两个前提:第一,这些是厂商在特定数据集和召回率目标下的最好情况,不是普遍承诺;第二,截至发稿尚无独立第三方基准复核。但它至少把对比的锚点定下来了——后续讨论可以围绕‘同召回率下的每百万向量内存占用’和‘每百万向量构建时长’这两个可复现的指标展开,而不是停留在架构叙述。
| 指标 | **pgvector**(HNSW 图索引) | **pg_vectorsearch**(**PRISM**,官方口径) |
|---|---|---|
| 索引结构 | 近邻图,边关系常驻内存 | 数据分区 + 量化压缩 |
| 内存占用(同召回率) | 图结构随数据规模线性增长 | 官方称最高降低约 16×(特定基准) |
| 索引构建时间 | 大规模数据下耗时明显 | 官方称最高缩短约一半(特定基准) |
| 查询延迟 | 成熟基线 | 官方称同一量级,待独立复核 |
| 成熟度 | 社区广泛验证,生态成熟 | alpha 早期 |
需要强调:素材层面 pg_vectorsearch 尚在 alpha,‘更低内存、更快构建’是厂商口径而非经过大规模生产验证的结论。但这笔账的算法定了,方向是对的——当向量检索从尝鲜变成常态负载,成本结构就会压倒单点性能,成为选型的第一变量。
📊 三、牌桌上的位置,用数字说话
与其给各家玩家画主观的定位象限,不如直接看公开信息能支撑的事实。
专用向量数据库的溢价来自两点:检索性能的纵深调优和托管运维。但这两点正在被两条路线同时蚕食——一条是 pgvector 这样的图索引扩展,一条是 PRISM 这样的分区压缩路线。
pgvector 的位置来自生态卡位而非算法领先:它是 Postgres 向量检索的默认选项,ORM 的向量类型支持、迁移脚本、监控面板、团队沉淀的调参经验都已围绕它长起来。这种位置的优势是防御性的——新玩家要撬动它,光有更低的内存账不够,还得让迁移这条路本身足够平。
pg_vectorsearch 的官方定位则明确指向大规模场景:发布说明反复强调的是‘数百 GB 到 TB 级向量数据’下的内存经济性,也就是图索引最吃力的场景——数据量持续膨胀、索引频繁重建、内存预算紧绷的团队。这个定位本身就是一张策略牌:不去正面替换 pgvector 在中小规模下的便利性,而是切入它成本曲线最陡峭的那一段。
对 pg_vectorsearch 而言,接下来要做的就是把官方数字兑换成可独立复现的 benchmark 和生产案例;对使用者而言,判断依据也应该从‘架构听起来先进’切换到‘同召回率下每 GB 向量的内存账’。
🏗️ 四、alpha 的现实:生产环境不认 PPT
每一篇‘新索引横空出世’的发布稿,都值得先泼一盆工程上的冷水。
alpha 意味着三件事:接口可能变、性能基线未固化、生产事故自负。对一个检索组件来说,真正决定能否上生产的不是架构图,而是这几件事——召回率在真实数据分布下的稳定性、更新与删除场景下的索引表现、崩溃恢复时间、以及与既有运维体系的兼容程度。
一个务实的评估路径不需要复杂的流程图:先读文档确认 PRISM 的分区与压缩参数对你的维度和数据分布是否敏感;再用小规模真实数据跑一轮同召回率对比,把内存占用、构建时长、P99 延迟三个数记下来;然后放到非核心业务灰度,观察数据更新频繁时的表现;最后才谈替换决策。整个过程中,pgvector 侧的工具链兼容性是最容易被低估的切换成本。
所以对多数团队的务实建议是:alpha 阶段把它放进评估清单,放进测试环境,放进非核心链路,但别急着动生产。 真正该做的,是趁现在把自己业务里‘内存占用、建索引时长、召回率’这三个数的基线量出来——将来无论选谁,这笔账都绕不开。
💰 五、当向量检索变成标配,生意的逻辑就变了
把镜头拉远,pg_vectorsearch 的出现其实是数据库行业的一个缩影:AI 带来的每一类新数据能力,都会经历‘专用引擎溢价 → 关系型数据库吸收 → 成本竞争’的三段式。
精确的市场份额图此刻画不出来,但成本去向的结构是清楚的:当功能本身趋同,钱最终花在两处——内存和运维。谁的索引更省内存、谁的运维更省人,谁就能在‘标配化’阶段活下来。这正是 PRISM 的 16× 内存数字真正的分量所在:它攻击的不是查询延迟这种单点指标,而是数据库总拥有成本里最刚性的那一项。
对 Tiger Data 而言,这步棋还有另一层意味:从时序数据库到向量检索,它一直在做同一件事——把 Postgres 的能力边界往外推,让‘一个数据库解决更多问题’的故事继续讲下去。对专用向量数据库厂商而言,这是一次直接的信号:关系型数据库的引力还在增强。
小结
pg_vectorsearch 眼下还只是一枚 alpha 阶段的棋子,但 PRISM 路线提出的问题很硬:向量检索的成本结构,到底该由图索引的内存开销来定义,还是由分区加压缩来重新定义?
接下来值得盯三件事:独立第三方对官方数字(同召回率下约 16× 内存节省、约一半构建提速)的复核结果、早期生产案例的真实反馈、以及 pgvector 侧的应对动作。向量检索的故事正在从‘功能竞赛’切换到‘成本竞赛’——这一次,账本比架构图更有说服力。