100条SQL,锁死了GitHub的分片
📋 总体概括
前GitHub工程师Maude Lemaire在播客中披露:首页每次刷新跑100条SQL、跨3个集群,大量无分片键的scatter query把分片数锁死在16个。本文拆解便利ORM写法如何变成规模化枷锁,以及对所有数据平台的启示。
📄 正文
大厂架构的真实面貌,往往不在官方博客里,而在前员工离职后的一句话中。前 GitHub 工程师 Maude Lemaire 在 The Pragmatic Engineer 11-05 期播客里透露:GitHub 首页每一次刷新要跑 100 条 SQL、跨 3 个数据库集群,其中大量查询没有分片键,只能扫全部分片——就这一个原因,分片数被锁死在 16 个。这不是 GitHub 一家的故事,而是几乎所有从单体长出来的数据平台,迟早都要撞上的那堵墙。
🎧 一句播客实话,比十篇架构白皮书都值钱
真话往往是在离开之后才敢说的。
这条信息的传播路径本身就很值得玩味。Maude Lemaire 在业内知名的 The Pragmatic Engineer 播客 11-05 期里聊到 GitHub 的数据库现状,博主 王大小楼 随后在微博转述了关键细节,很快在工程师圈子里传开。要注意的是,这不是公开数据集,而是一线亲历者的口述——恰恰是这种来源,比官方架构博客的含金量更高。
- 播客发布:The Pragmatic Engineer 11-05 期
- 披露人:前 GitHub 工程师 Maude Lemaire
- 转述扩散:王大小楼 微博,工程师圈层二次传播
- 关键数字:100 条 SQL / 3 个集群 / 16 个分片
官方博客只会讲胜利:迁移成功了、性能提升了、成本降了。但系统的真实成本结构,藏在'每次刷新到底跑了多少条查询'这种没人愿意写进 case study 的细节里。一线披露的价值就在于此——它把平台内部的'体检报告'拿到了阳光下。
⚠️ scatter query:分片架构里最贵的一类查询
分片键是分片架构的宪法,没有分片键的查询就是违宪成本。🧱
先把机制讲清楚。数据分片之后,一条查询要高效执行,必须带上分片键,才能直达某一个分片。没有分片键怎么办?系统只能把查询广播到全部分片,各自执行完再在应用层归并——这就是 scatter query(scatter-gather 模式)。它的成本是线性乘法:查询数 × 分片数。
Maude Lemaire 透露的情况是:GitHub 首页每次刷新跑 100 条 SQL,其中大量是这种必须扫全部分片的 scatter query。想清楚这笔账:把分片从 16 个扩到 32 个,每条 scatter query 的扇出直接翻倍,首页延迟跟着翻倍。扩容不但不降负载,反而放大了最差查询的成本。所以'分片数被锁死在 16 个'的真实含义是——16 不是最优值,而是这种查询形态下还能扛住的上限。
| 指标 | 数值 | 含义 |
|---|---|---|
| 每次刷新 SQL 条数 | 100 条 | 首页一次页面渲染的查询总量 |
| 涉及数据库集群 | 3 个 | 查询跨集群分发 |
| 分片数 | 16 个 | 被 scatter query 锁死的上限 |
这就是容量规划里最容易被忽略的一条规律:系统的上限往往不由硬件决定,而由最差的查询模式决定。 你买再多的机器,也无法拯救一类必然要做全分片扇出的查询。
🧩 Active Record 的顺手,是十年后才还的债
抽象层省下的每一分钟,都在规模化那天连本带利讨回来。
Maude Lemaire 还点出了查询的来源:这些 SQL 大多是通过 Active Record——Rails 的 ORM 框架——'顺手写出来的'。开发者在控制器里一行代码做关联查询,ORM 自动生成 SQL,开发效率极高;代价是,几乎没有人会去看生成的 SQL 长什么样、有没有分片键、扫了几个分片。
首页这种聚合型页面是重灾区。每加一个新卡片、一个新推荐模块,就顺手多几条查询;一年年累积下来,查询数量从个位数涨到三位数 📈,没有人做过决定,但也没有人拦住过它。据多位在大厂做过拆库的工程师私下说,类似的情况在各家都存在:真正被刻意设计的查询只占少数,大多数都是'写功能时顺手带上'的。
判断很简单:ORM 的成本模型是错位的——写的时候几乎免费,线上执行的时候极其昂贵,而买单的是数据库团队。便利性和可扩展性从来不是同一张账单上的两个科目。
🔭 这不是 GitHub 的病,是每个平台都会撞的墙
所有平台架构的终局,都是和自己的历史查询模式谈判。
把镜头拉远看,这个故事的产业逻辑非常清晰。国内外绝大多数平台都走过同一条路径:单体应用加便利 ORM 起步,快速迭代业务;数据量涨上来之后被迫分库分表;拆完才发现,存量的大量查询根本不带分片键。拆不拆都难受——不拆扛不住单机,拆了最差查询的成本被乘法放大。'拆完分片后,真正能直达的查询往往只占少数',是这类项目里被反复验证的常态。
从这张图能看出判断:左下角的'继续加机器'是最常见的第一反应,但它解决不了 scatter query 的乘法问题,只延缓爆炸时间。右上角的高门槛手段——补齐分片键、重构读路径——才是真正扩大容量上限的事。分片改造的难点不在切数据,那是一次工程;难点在改造查询,那是一场持续战役。
💡 破局三件事:分片键纪律、查询预算、敢于重构
性能问题的解法永远在应用层,数据库只是替罪羊。
既然病根在查询形态,药方也只能开在查询侧。业界通常的做法可以收敛成三件事:
第一,分片键纪律。架构评审时强制回答一个问题:这条查询带不带分片键?不带分片键的查询,要么走异步聚合,要么落宽表,不允许进同步调用链。这是把'违宪成本'挡在代码合入之前的唯一办法。
第二,查询预算。给页面和接口设定 SQL 条数预算,超了就排队优化。'首页 100 条 SQL'这种数字,在有任何预算机制的团队里都长不到三位数——问题不是没人发现,而是没人拥有它。
第三,敢于重构读路径。首页这种聚合页面天然适合缓存、预聚合和异步拼装,同步扇出查询可以压到极少。这需要业务让渡一些实时性,但对数据库的减负是数量级的。
这三件事没有一件是新技术,难的全在执行——因为每一条都意味着让业务团队为数据库的健康付成本,而这从来都是组织问题,不是技术问题。
100 条 SQL、3 个集群、16 个分片,这几个数字值得所有做数据平台的人记住。它们揭示了平台工程最朴素的规律:系统的上限不在最贵的机器上,而在最随手的查询里。当 AI 时代数据规模继续膨胀,这套'便利性债务'的清算只会来得更早。下一代数据平台在讲湖仓、讲实时之前,或许更该先回答一个老问题:你的每一条查询,知道自己要去哪个分片吗?
本文由本站 AI 辅助聚合生成,原始来源如下: