数据涨了一万倍，这家基金为何没崩？

期权研究这件事，正在被数据规模拖进深渊。伦敦量化基金 iSAM Funds（管理资产约百亿美元级，官网披露口径）要看的是全期权历史——不是抽样，不是最近几年，而是全部。这家基金把这个问题称为 "10,000x data problem"：数据规模是一万倍量级的挑战。

结果它没崩，反而把研究平台做轻了。答案是 ClickHouse Cloud：35-50 倍的数据压缩，单核摄取速度提升 100 倍，数据管道被大幅简化。

三个数字，一条产业线索：当“存得起、算得动、查得快”三件事第一次同时成立，研究型数据平台的架构范式，正在被重写。

“📌 本文关键数据的信源

“- 35-50 倍压缩、单核摄取提升 100 倍、管道简化：均出自 ClickHouse 官网客户案例 iSAM Funds（可检索 "iSAM Funds" 查看原文）

“- 美国期权市场成交量：OCC（期权清算公司）公开统计 theocc.com/market-data

“- 列式引擎 vs 通用行库的扫描聚合性能差距：公开基准测试 ClickBench

“- 文中所有标注“推算”的数字，为基于上述公开数据的算术推导，非 iSAM 官方披露

📈 一万倍数据，先杀死的是“存”

金句：在量化研究里，数据规模不是线性问题，是范式问题。

先还原场景。一家量化基金做期权策略研究，理想状态是什么？分析师想问任何一个问题——“历史上所有在到期前一周、隐含波动率处于某个分位、且流动性高于某阈值的期权，到期表现如何”——系统在可接受的时间内给出答案。

要做到这一点，你必须保留全量历史。而期权数据的特殊之处在于：它不是单一价格序列，而是多维权数据——标的、行权价、到期日、买卖价、隐含波动率、希腊字母，每一个维度都在放大数据量。

体量到底有多大？ 用可核验的公开数据推算一下：据 OCC 统计，2023 年美国期权市场日均成交约 4,000-5,000 万张合约；每张合约背后是逐笔报价与成交，叠加全市场数十万个活跃期权系列的多档盘口，再算上隐含波动率、希腊字母等衍生列——原始数据以百亿行/天计。积累十年全历史，行数就是数十万亿级，未压缩的原始体量在数百 TB 量级（推算，推导链见上表信源）。iSAM 说的“一万倍”，正是相对于传统单标的行情存储方案的量级差。

iSAM Funds 交出的成绩单是 35-50 倍压缩。把这个数字翻译过来：数百 TB 的原始数据，压缩后落在个位数 TB（推算）。压缩比不只是省钱，它改变的是研究行为的边界：以前“存不起所以存抽样”，现在“存得起所以存全量”。

这就是产业逻辑的第一层：存储引擎的压缩能力，直接决定了研究自由度。当你因为存储成本而不得不丢弃数据时，你的研究结论就已经带偏了。

⚠️ 老管道的死法：不是撑不住，是太复杂

金句：压垮老架构的往往不是性能，而是复杂度债务。

数据规模上来之后，传统团队的第一反应通常是加层：加缓存、加预处理、加汇总表、加 ETL 任务。管道越叠越多，最后没人说得清一条数据从落地到可用要经过几道工序。

上面这张图是两种路线的对比。左边的老路——每个研究问题都要提前想好怎么聚合、怎么建表——本质上是把计算成本前置成了工程成本。预聚合表在数据规模一万倍增长后会出现典型症状：重建一个汇总表以天计，改一个口径要排期，分析师最宝贵的时间耗在等数据上。

iSAM Funds 换到 ClickHouse Cloud 之后的关键变化，官方案例的表述是“简化了数据管道”。为什么管道能简化？因为摄取够快、查询够快，很多预聚合环节就不必要了——数据可以直接落地、直接查。

支撑这一点的是另一个硬指标：单核摄取速度提升 100 倍。摄取速度是数据平台的“咽喉”，咽喉宽了，整个数据从落地到可查的延迟就短了，迟到数据、回填历史这类在金融场景里天天发生的事，不再是需要运维半夜值守的大手术。

iSAM 这次改造真正的收益，可能一半在性能，一半在把维护管道的工时还给了研究员。

🚀 100倍摄取提速，凭什么？

金句：列式存储的红利，行业才刚刚吃透一半。

要理解 100 倍这个数字从哪来，得回到 ClickHouse 的技术底色：列式存储 + 向量化执行 + 极致压缩。

期权数据天然适合列式。分析师的查询模式是“在几个维度上过滤，在少数几个数值列上聚合”——行式存储要扫整行，列式存储只碰需要的列，再加上现代 CPU 的向量化指令，扫描效率天然不是一个量级。这个量级差有公开数据可查：ClickBench 基准显示，主流列式引擎在扫描聚合场景下，普遍比通用行式数据库快 1-2 个数量级。

而压缩和速度是互相成就的：压缩得好，磁盘 IO 就少；IO 少了，扫描就快；扫描快了，就敢做更激进的编码方式。这是一个正循环，也是列式引擎相对行式引擎在分析场景里代差式领先的根源。

值得注意的是“单核 100 倍”这个措辞。很多数据库宣传性能靠堆核，而单核性能提升说明的是每一条计算路径本身被优化了——同等吞吐量下，所需算力约为原来的 1%（算术推导）。对按计算资源付费的云产品来说，这直接换算成账单：摄取环节的算力开销降到接近原来的百分之一量级（推算）。

从产业视角看，这条技术路线的演进轨迹很清晰：

ClickHouse Cloud 站在第四阶段：用户不再操心集群扩容、分片和运维，专注写查询就好。对 iSAM 这样规模的研究团队来说，“不用养一个平台运维团队”本身就是选型理由。

💡 35-50倍压缩背后的成本账

金句：数据基础设施的竞争，本质是每TB总拥有成本的竞争。

把压缩数字翻译成财务语言。这里需要诚实说明：ClickHouse 的客户案例没有披露 iSAM 的精确存储账单，以下是基于披露指标的算术推导，而非官方数字。

这张表里最容易被低估的是查询形态那一行。研究自由度不是玄学：老方案下，分析师提出新问题 → 申请建表 → 排期回填 → 以天计；新方案下，想到什么查什么，全历史直接扫。量化行业的护城河之一就是研究迭代速度——同样的想法，别人一周验证一轮，你一天验证三轮。

对数据基础设施行业来说，这个案例传递的信号是：新一代分析引擎正在从“更快”变成“让以前不可能的负载变可能”。一万倍的期权数据、全量历史、即席查询——这种需求放在十年前，唯一的答案是不做。现在它是可购买的云服务。这也部分解释了 ClickHouse 公司的资本热度：其 2021 年 10 月完成的 C 轮融资为 2.5 亿美元、估值 20 亿美元（TechCrunch 当时报道，可查证）。

🔒 给行业的三个启示

金句：选数据引擎，本质是在为未来三年的研究问题投票。

复盘 iSAM Funds 这次改造，我认为有三点值得所有数据平台负责人记下。

第一，压缩比是硬通货。 别只看 QPS 和延迟，在数据规模指数增长的时代，存储效率决定了你能保留多少“研究的原料”。35-50 倍压缩不是省钱技巧，是研究能力的分水岭。

第二，管道复杂度是隐性负债。 每一层预聚合、每一个 ETL 任务都是一笔未来要还的债。摄取足够快、查询足够快的引擎，最大的价值是让你少建管道——用计算换工程，通常是划算的。

第三，云原生不是口号，是组织杠杆。 ClickHouse Cloud 这类产品把扩容、运维、高可用打包成服务，研究型组织可以把宝贵的人力投入到最贴近业务的地方。

小结

数据涨一万倍，iSAM Funds 没有崩，靠的不是堆机器，而是换引擎带来的范式红利：35-50 倍压缩把“存不起”变成“存得起”，100 倍单核摄取把“等数据”变成“随到随查”，管道简化把工程师还给了研究。需要说明的是，压缩比、摄取提速与管道简化是客户案例披露的数字，体量与成本换算是本文基于 OCC 等公开数据的推算——但即便只取官方披露部分，结论依然成立：分析型基础设施的竞争焦点，正从性能参数转向“能否解锁以前不可能的负载”。下一个被重写范式的，也许就是你所在行业的那类数据。