别再无脑HNSW了,向量检索要省内存
📋 总体概括
Tiger Data 开源 pg_vectorsearch,用 PRISM 分区压缩索引替代 pgvector 的 HNSW 图索引,主打更低内存占用与更快索引构建。本文拆解其技术路线、PostgreSQL 向量检索竞争格局,以及 Alpha 阶段必须冷静看待的三道坎。
📄 正文
向量数据库吵了两年'专用还是通用',如今战场转移到了一个更朴素的问题上:内存账单谁来付。
2026 年 11 月,Tiger Data 开源了 PostgreSQL 向量检索扩展 pg_vectorsearch,目前处于 Alpha 阶段。它的核心卖点不是'更快',而是'更省'——其自研的 PRISM 索引走分区加压缩的路线,绕开了 pgvector 所依赖的 HNSW 图索引,据 InfoQ 作者 Renato Losio 的报道,这带来了更低的内存需求和更短的索引构建时间。
这不是一个微小差异,而是一次路线分岔。
🧱 内存墙,先撞上的是 PostgreSQL
金句先行:图索引的召回率是拿内存买的,账单总会寄到。
任何一个把 RAG 应用推上生产的团队,几乎都经历过同一个深夜:随着向量规模从百万涨到千万,pgvector 的 HNSW 索引开始吃内存,机器内存一路飙升,DBA 被迫升配、扩容,云账单肉眼可见地变厚。
原因不难理解。HNSW(分层可导航小世界图)是一种基于图的近似最近邻索引,为了在查询时快速'跳'到目标向量附近,它需要在内存中常驻一张多层邻居图。这套机制的好处是查询延迟低、召回率高,坏处同样直接:图结构几乎无法压缩,内存占用随向量数量和维度线性膨胀,而且建图过程本身也很耗时。
在向量检索还是'锦上添花'功能的年代,这些代价可以被容忍。但当 AI 应用把向量规模推向数亿甚至数十亿,内存墙就成了 PostgreSQL 生态绕不开的议题。据多位接近数据库团队的从业者透露,过去一年里'向量索引内存优化'已经从边缘话题变成了用户采购云数据库时的常见考核项。
pg_vectorsearch 的出现,正是对这堵墙的直接回应。
🧩 PRISM:不建图,先分区再压缩
金句先行:不跟图索引拼跳转速度,改拼'少看无关数据'。
PRISM 索引的思路,用一句话概括就是:用数据分区和压缩,替代图结构带来的全局连接。
具体来看,它先把向量空间切分成若干分区,查询时通过分区剪枝只访问相关的一小部分数据,在局部完成相似度计算;同时,向量本身经过压缩存储,大幅降低了常驻内存的体量。官方给出两个关键收益:内存需求更低、索引构建时间更短。
这套打法的产业逻辑在于:它承认了一个被讨论很久但很少被正面处理的事实——大量业务场景并不需要极致召回率。推荐、去重、粗排召回、日志聚类,这些场景对'Top 10 里命中 9 个还是 10 个'并不敏感,但对成本极度敏感。为它们支付 HNSW 的全量内存代价,本身就是一种错配。
当然,天下没有免费的午餐。分区意味着查询视野从全局收窄为局部,压缩意味着精度折损,PRISM 的实际召回表现如何,Alpha 阶段的社区实测会给出第一份答卷。
🗺️ 四象限里,PG 向量生态在重新洗牌
金句先行:pgvector 赢在'默认就在那',挑战者只能赢在'明显更好'。
把 pg_vectorsearch 放进 PostgreSQL 向量检索的大盘里看,格局会更加清晰。
pgvector开源亮相
pgvector支持HNSW索引
Tiger Data发布pg_vectorsearch
pgvector 占据的位置很特殊:技术上它并不前沿,但凭着'PostgreSQL 扩展'这个身份,它吃到了数据库生态最大的红利——大量团队的默认选择不是最好的,而是不用换库就能用的。这正是专用向量数据库(如 Milvus 一类)这些年在市场上最头疼的问题:性能再强,也架不住用户不愿意多维护一套系统。
| 维度 | pgvector(HNSW) | pg_vectorsearch(PRISM) |
|---|---|---|
| 索引原理 | 图结构近似最近邻 | 数据分区+压缩 |
| 内存占用 | 随规模增长明显 | 官方称显著更低 |
| 索引构建 | 建图较慢 | 官方称构建更快 |
| 成熟度 | 社区验证充分 | Alpha 早期 |
| 生态位 | 事实上的默认选项 | 差异化挑战者 |
pg_vectorsearch 选的切入点很聪明:它不正面挑战 pgvector 的生态位,而是攻其最痛的成本维度。对已经在 PostgreSQL 上重资产投入的团队来说,一个'同样跑在 PG 里、但内存省一半'的选项,试错成本低到值得一试。
🏢 Tiger Data 的算盘:把 PG 的应用面铺向 AI
金句先行:做扩展的不是配角,是抢数据库入口的人。
Tiger Data 的身份值得多说一句。这家公司起家于时序数据库领域,是 PostgreSQL 生态里'用扩展撬动市场'路线最有经验的玩家之一。它深谙一个道理:与其重造一个数据库,不如让 PostgreSQL 多长出一个能力,让存量用户'原地升级'。
从产品战略看,pg_vectorsearch 是一步面向 AI 时代数据库入口的卡位。AI 应用的数据栈正在收敛——结构化数据、时序数据、向量数据越来越多地被要求放进同一个数据库统一管理,'一个库管所有'对中小企业有极强的吸引力。谁能在 PostgreSQL 上同时把这些能力做扎实,谁就握住了下一代数据平台的入口。
圈内聊起来,一个共识正在形成:PostgreSQL 正在从'关系型数据库'进化成'数据基础设施的默认底座',向量只是这场进化中最先被验证的一块拼图。
⚠️ Alpha 之后,还有三道坎
金句先行:发布只是开始,工程化才是数据库产品的真正战场。
冷静地看,pg_vectorsearch 眼前至少有三道坎。
第一道是精度验证。分区加压缩路线的召回率表现,取决于分区策略和压缩算法的具体实现,目前公开信息有限,需要更多第三方基准测试来建立信任。第二道是生态惯性。pgvector 已经形成了插件、教程、云服务托管的完整生态,pg_vectorsearch 作为 Alpha 产品,文档、工具链和社区经验都还需要时间积累。第三道是运维成熟度。一个新的索引结构意味着新的参数体系、新的调优经验和新的故障模式,生产环境敢不敢用,要等第一批吃螃蟹的团队给出答案。
综合来看,pg_vectorsearch 给行业带来的最大价值,未必是它自己成为新标准,而是它证明了 HNSW 不是向量检索的终点——内存成本这条被普遍接受的代价曲线,是可以被重新谈判的。
小结
Tiger Data 用 pg_vectorsearch 做了一次精准的差异化下注:不拼极限性能,拼单位成本下的可用召回。这符合 PostgreSQL 生态一贯的务实风格——不推翻重来,在存量基础上长出新能力。短期内 pgvector 的默认地位难以撼动,但向量化检索的成本之战才刚刚开局。接下来值得盯两个信号:第三方召回率实测数据,以及云厂商会不会把 PRISM 这类低成本索引纳入托管服务。成本曲线一旦松动,向量检索的普及速度可能会超出多数人的预期。
本文由本站 AI 辅助聚合生成,原始来源如下: