🏢 公司C档 · NaN分

AI 没干掉查询引擎,它改了接口

··约1分钟阅读

📋 总体概括

AI 时代真正被改写的是数据接口而非查询引擎:代理生成受限 SQL,DuckDB 从 Parquet 算出可复现事实。同时,向量存储的隐性成本被普遍低估。本文拆解确定性拆分、可重放分析与嵌入式引擎 vs 托管湖仓的选型信号。

📄 正文

最近 InfoQ 刊登了 Peihao Yuan 的一篇文章,讲的是一个灾备分析工作流:AI 代理生成受限的 SQL 或 Python,DuckDB 从 Parquet 文件中计算出可复现的事实,代理再对结果做解读。同一周,博主 大Token 在微博上摊开算了一笔账:做知识库的人只盯着 embedding 调用费,却几乎没人算向量本身要占多少存储。

两件事看起来不相关,其实指向同一个判断:AI 改写的不是查询引擎,而是 AI 与数据之间的那层接口。引擎该怎么算还怎么算,但 AI 怎么“碰到”数据、碰完之后账单怎么算,全都变了。

🤖 智能体不碰数据,只碰契约

先看那个灾备分析的场景。系统出了事故,要做根因分析和数据核对——过去这要么是工程师手写一批一次性 SQL,要么是打开 BI 工具拖拽半天。而现在,工作流变成这样:

注意这个链路里的关键设计:AI 代理不是直接连上生产库自由发挥,它拿到的是一个受限的生成环境——生成的 SQL 有约束、能校验,计算交给 DuckDB 在本地对 Parquet 完成。

业界这两年吵得很凶:自然语言查询会不会取代 SQL?查询引擎要不要为 AI 重写一遍?Peihao Yuan 给出的答案很冷静:都不用。SQL 还是那个 SQL,DuckDB 还是那个 DuckDB,变的是 AI 的接入方式——从“直连数据”退回到“经过契约接入数据”。

原因不难推断:让 LLM 直连数据库跑自由查询,生成一段查询很容易,但为结果负责很难——无法收窄权限、无法校验语义、无法归因错误,任何一环出问题都说不清是谁的责任。所以产业正在收敛出一个共识:AI 离数据越近,接口越要收窄。这不是技术倒退,而是工程成熟。

产业逻辑很清楚:查询引擎的竞争格局不会因为 AI 重排,但“数据接口层”会成为一个新的博弈点——谁定义了 AI 与数据交互的契约格式,谁就掌握了下一代数据分析工具的入口。

这篇文章还留下一个值得单独拎出来的推论:受限生成环境本身,正在长成一个独立的中间件品类。白名单校验、SQL 语法约束、结果 schema 验证,过去散落在各家代理产品内部的自研代码,接下来大概率会被抽出来做成通用的“AI 数据网关”。判断依据是:这套约束逻辑与具体业务无关、与具体模型也无关,只与“AI 该如何安全地触碰数据”有关——凡是满足这个特征的层,最终都会标准化、产品化。谁的契约格式先成为事实标准,谁就拿到了上一段说的那个入口。

📐 确定性拆分:让 AI 负责意图,让引擎负责事实

这套工作流里最值钱的设计,是所谓的确定性拆分(determinism split)。

LLM 有一个绕不开的软肋:同样的输入,两次输出可能不一样。放在聊天场景里无伤大雅,放在灾备核对场景里就是灾难——你没法拿着一个每次跑出来数字都不同的分析结果去做事故复盘。

于是架构被切成两半:

AI 负责它擅长的那部分:理解意图、生成查询、解读数字、写归因报告。而所有“数字是怎么算出来的”环节,全部收敛到 DuckDB 对 Parquet 的确定性计算里。同样的脚本、同样的数据文件,今天跑和下个月重放,结果是同一个数。

这就是文章强调的可重放分析(replayable analysis):分析过程本身变成了一份可存档、可审计的资产。灾备场景尤其需要这个性质——事故复盘最怕的就是“当时的结论现在跑不出来了”。这个场景有一条铁律:AI 可以说错话,但报表不能有两个数。 这句话基本概括了确定性拆分的全部动机。

产业判断:可重放性正在从“锦上添花”变成“准入条件”。未来企业级 AI 数据分析产品的采购评估里,“同样的输入能不能重放出同样的结果”大概率会写进验收标准。做不到的玩家,进不了生产环境。

💾 向量的账,多数人只算了一半

镜头切到另一个战场:RAG 知识库的成本。

大Token 做了一个很“工程师”的实测:用 Python 3.13 标准库写纯算术脚本,不依赖任何第三方库,场景设定为 100 万条文本块、每块 500 token,然后老老实实算向量的存储体积。结论的核心是:大家做成本测算时只算 embedding 的 API 调用费,向量本身的存储成本被系统性地忽略了。

按 OpenAI 官方文档,text-embedding-3-small 默认 1536 维,text-embedding-3-large 默认 3072 维。用 float32 做纯算术推演,账是这样的:

模型默认维度单条向量体积(float32)100 万条裸向量体积
text-embedding-3-small1536约 6 KB约 6 GB
text-embedding-3-large3072约 12 KB约 12 GB

注:以上为纯算术推演的裸向量体积,不含索引结构、副本、备份与元数据。

6GB、12GB 看起来不大?别急。这只是裸向量。真实生产环境里,向量库还要叠加近似检索的索引结构(典型如 HNSW)、多副本容灾、元数据和版本管理——业界普遍的经验是,实际占用和实际开销往往是裸向量体积的数倍。大Token 把算术过程公开摊开,价值恰恰在于让“自估体积”和“账单体积”之间的落差变得可以推演、可以验证,而不是停留在口头抱怨。

更隐蔽的是重嵌入成本:模型一升级、切片策略一调整,100 万条向量就要整个重算重写一遍。调用费和存储费都要再付一次。向量不是“用完即弃的缓存”,而是需要长期供养的数据资产。

产业逻辑:这解释了为什么维度选择是一个被低估的成本杠杆——3072 维的检索质量提升,值不值得付双倍的存储和索引代价,很多团队根本没算过这笔账。也解释了为什么“向量入湖”开始被认真讨论:既然向量是要治理、要版本化、要重算的数据,它就该像普通数据一样进湖仓统一管理,而不是在某个独立向量库里变成无人认领的成本黑洞。

在这笔账的基础上,还可以再往前推一步:向量成本的核算单位应该从“每次调用”改成“每条资产的全生命周期”。一条向量从生成那天起,会持续产生存储费、索引费、副本费,还要承担未来重嵌入的换代成本——把这几项加总摊到每条知识块上,才是真实的单位成本。一旦改用这个口径,很多决策会反过来:知识库不是越大越好,低价值、低召回的文本块留在库里就是纯负债,“该不该入这条向量”会变成和“该不该存这条数据”一样的治理问题。

⚖️ 上不上湖仓,看信号别看风潮

那到底什么时候一台机器上的嵌入式引擎就够用了,什么时候必须上托管湖仓?Peihao Yuan 在文中给出了四个判断信号。结合当下产业现状,我把它展开成一个可操作的框架:

四个信号,逐条对应:

1. 数据规模——热点数据能不能装进单机内存。能装下,Parquet 加 DuckDB 的组合几乎是免费的答案;装不下,才考虑分布式。

2. 查询并发——嵌入式引擎本质是单进程形态。一个分析师、一个代理任务,绰绰有余;多个团队共享同一份事实层,就需要服务化的湖仓。

3. 可靠性与 SLA——灾备分析这类场景,平时低频、关键时刻不能掉链子,对可重放和故障恢复有硬要求,托管服务的运维保障开始变得值钱。

4. 治理与共享——一旦数据要跨团队流动、要配权限、要留审计,嵌入式方案的“轻”就变成了“裸奔”,湖仓的统一元数据和存算分离才真正发挥价值。

用一句话概括这个决策表:

嵌入引擎还是托管湖仓
痛点 1
数据量小、并发低、团队不想养基础设施
→
解法
Parquet加DuckDB,随用随起,脚本即资产
痛点 2
多团队共享、需要SLA与权限审计
→
解法
托管湖仓统一元数据、存算分离
痛点 3
向量检索只是众多负载之一
→
解法
把向量当普通数据放进湖仓统一治理
痛点 4
AI代理要直连生产数据
→
解法
收窄为受限生成接口,经契约访问事实层

产业判断:DuckDB 的复兴不是偶然,它是 AI 时代“脚本化、代理化分析”的自然副产品——当一个 AI 代理每天要起几百次分析会话时,为每次会话拉起一个秒级启动的嵌入式引擎,比连一个常驻的分布式集群便宜得多、也干净得多。但托管湖仓不会被替代:嵌入式引擎赢在会话,湖仓赢在共享与治理。两边的边界,就由上面四个信号划定。

小结

把两条线索合起来看:AI 没有颠覆查询引擎,它把竞争推向了数据接口层——代理经受限契约访问确定性计算,可重放成了新的验收标准;同时,向量让“数据”的范畴变宽了,也让隐性成本变重了,账必须从调用费一路算到存储、索引和重嵌入。下一阶段的看点有两个:数据接口契约会否标准化,以及向量会不会大规模“入湖”接受统一治理。接口定了,盘子才算真正立起来。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)