🏢 公司C档 · NaN分

分片锁死的冰山

··约1分钟阅读

📋 总体概括

GitHub前工程师Maude Lemaire披露:首页每次刷新要跑约100条SQL、跨3个数据库集群,大量无分片键的scatter query把分片数锁死在16个。本文拆解这条技术债的成因、机制与治理路径,并借PostgreSQL 18发布对照开源生态狂奔与存量架构拖拽的行业现实。

📄 正文

刷新一次GitHub,跑了一百条SQL

你每次打开GitHub首页,后台并不是安静地查一张表——前工程师Maude Lemaire在The Pragmatic Engineer播客里给出的数字是:一次刷新,约100条SQL,跨3个数据库集群。更要命的是,其中大量查询没有分片键,是那种必须扫遍全部分片的scatter query。就这一个原因,这个全球最大代码托管平台的分片数,被锁死在16个。

这不是什么猎奇八卦,这是一份极有代表性的病理切片:今天几乎所有用关系型数据库扛业务的团队,都可能正在复制GitHub的老路。

💻 一次刷新,一百条SQL

先说场景。GitHub前工程师Maude Lemaire在The Pragmatic Engineer11月5日播客中披露了一组内部数据:GitHub首页每一次刷新,要跑大约100条SQL,横跨3个数据库集群。

注意,这不是公开数据集,是亲历者的口述。但正因如此,它比任何基准测试都更有说服力——这是真实生产系统上每天发生亿万次的事情。

一百条SQL是什么概念?对一个前端工程师来说,用户感知只是页面出来了;对数据库来说,这是一次刷新触发了上百次查询解析、执行计划生成和跨网络往返。更糟的是这些查询被摊在3个集群上,任何一个集群抖动,首页就跟着抖。

工程师社区里流传的评论很直接:大平台的首页,往往是最不体面的代码。因为它长在系统最古老的架构上,承载着最多的历史包袱,又永远没时间停下来重写——流量不会等你。

这里有一条所有架构师都懂的产业逻辑:首页类聚合页面的性能问题,从来不是单条SQL的慢,而是查询数量的失控。 一条SQL慢可以优化,一百条SQL的生成逻辑散落在无数个模板、无数个helper方法里,谁也说不清全貌。这就是为什么它拖了这么多年还在那里。

⚠️ 卡住脖子的,是scatter query

真正让老架构师坐不住的,是那条更深的因果链:大量查询没有分片键,导致数据库层只能把请求广播到全部分片上执行,再把结果聚合回来——这就是scatter query。

分片架构的初衷是什么?数据量大了,把一张逻辑大表水平切成N个物理分片,每个查询带上分片键(比如用户ID),请求只打中一个分片,容量就能随分片数线性扩展。

但scatter query把这个契约撕毁了。没有分片键,路由层不知道该发给谁,只能发给所有人。分片从16个变32个,scatter query的成本不是减半,而是翻倍——每个查询要扫的分片多了一倍,聚合的等待时间也随之上涨。扩容不但不省钱,反而让首页更慢。

于是就有了那个反直觉的结论:分片数被锁死在16个。不是资源不够,不是架构师保守,而是应用层的查询形态决定了:这个集群再也加不动分片了。

这就是典型的"应用层决定数据库天花板"。数据库的分片数上限,不取决于数据库本身,而取决于应用写的SQL长什么样。很多团队扩容失败时第一反应是换更贵的硬件、换更炫的分布式数据库,但GitHub这个案例说明:只要scatter query还在,换什么底座都只是把锁死的位置挪一格。

🧱 债不是SQL写的,是ORM顺手写的

Lemaire还点出了一个关键细节:这些查询,大多是通过Active Record"顺手写出来的"。

Active Record是Rails生态的默认ORM,它的设计哲学就是让开发者像操作对象一样操作数据库——user.posts一行代码,背后可能是几条关联查询。它极大提升了开发效率,这也是Rails当年能快速构建GitHub的原因之一。

但效率的账单是延迟支付的。每一条被ORM"顺手"生成的查询,都是一次隐式的数据库访问决策。业务开发者看不到SQL,自然也不会去想"这条查询有没有分片键"。十几年下来,成千上万次"顺手"累积成了今天这个局面:没人做过恶,但系统病了。

据多位长期维护大规模Rails单体应用的工程师私下反馈,这类问题在同行里几乎是普遍现象——不是GitHub独有,而是ORM时代的技术通病。区别只在于:你的系统规模有没有大到让这笔债显形。

把这个问题放到一个坐标系里看,会更清楚各条出路的位置:

看得出来,性价比最高的不是最激进的重构,而是中间那条路:治理查询本身。给高频路径补齐分片键、合并冗余查询、把scatter query逐个消灭——成本可控,收益直接解锁扩容能力。整体迁移当然终极,但在100条SQL的存量面前,先迁移后治理等于把债务搬家。

🔄 生态在一年年狂奔,存量在原地锁死

把这个故事放到当下这个时点看,更有味道。就在同一时间窗口,PostgreSQL 18正式发布,开源数据库的年度大版本更新如期而至。

一边是数据库引擎一年一次的大步迭代,社区生态全速狂奔;另一边是GitHub首页上那些十几年不变的查询形态,把分片死死摁在16个。这个反差构成了当下数据基础设施行业最真实的张力:引擎的进步速度,永远快于存量系统的消化速度。

这不是PostgreSQL的问题,恰恰相反——它说明数据库层面的创新供给是充足的,真正的瓶颈在应用侧和治理侧。你的数据库换到多新,只要应用还在随手生成无分片键的宽查询,瓶颈就纹丝不动。据业内的普遍观察,绝大多数企业的核心库版本落后社区主线不止一个大版本,升级周期以年计,而业务代码里查询形态的老化,比数据库版本的老化隐蔽得多,也致命得多。

对国内的数据平台团队来说,这个案例的价值在于给出一个预警:在你还没有被16个分片锁死之前,就要建立对查询形态的持续治理机制——分片键检查进CI、慢查询审计进日常、ORM的隐式查询进监控。治理这件事,早做是工程规范,晚做是搬迁工程。

🗺️ 怎么解:先治查询,再谈扩容

综合Lemaire披露的信息和通行的分布式数据库治理经验,一条务实的路线可以这么排:

注意顺序:先止血,再动刀,最后才谈扩容。很多团队一上来就做扩容或迁移,结果scatter query原样搬过去,钱花了,瓶颈还在。

`mermaid

`infographic

{"type":"iceberg

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)