🏢 公司C档 · NaN分

GitHub的数据库,被100条SQL绑架了

··约1分钟阅读

📋 总体概括

GitHub前工程师Maude Lemaire披露:首页一次刷新要跑100条SQL、跨3个集群,大量无分片键的scatter query把分片数锁死在16个。本文拆解这条技术债的成因与代价,结合PostgreSQL 18发布,讨论大平台数据库演化的真实约束与破局路径。

📄 正文

一个全球最大代码托管平台的首页,每一次刷新,背后要跑100条SQL、跨3个数据库集群。这不是段子,是GitHub前工程师Maude Lemaire在The Pragmatic Engineer11月5日那期播客里亲口说的。更扎心的是下半句:因为大量查询没有分片键、只能扫全部分片,GitHub的分片数被死死锁在16个。

这件事最值得聊的地方,不是“大厂也会写出烂查询”,而是——真正拖垮一个大平台的,往往不是流量洪峰,而是十年前某个工程师顺手写下的那条SQL。

🍴 一、首页刷新的100条SQL,是一笔“隐形税”

先看事实。据Maude Lemaire在播客中的披露,GitHub首页每次刷新要执行约100条SQL查询,流量横跨3个数据库集群。这些查询大多不是刻意设计的,而是通过Active Record——Rails生态里那个以“开发效率至上”著称的ORM——顺手写出来的。

注意“顺手”这两个字。Active Record的设计哲学是把数据库操作藏进优雅的Ruby语法里,开发者写一句User.find_by(...),ORM替你生成SQL。这在业务早期是生产力加速器,但当数据量涨了几个数量级、表结构演化了十几次之后,每一个“顺手”的查询都可能变成生产环境里的一次全表扫描。

很多团队内部流传一句话:“ORM带来的每一分钟开发提速,都要在数据库上连本带利还回去。”这话说得绝对,但方向没错。首页这种聚合了通知、动态、推荐、仓库状态的页面,天然就是“N+1查询”和宽依赖的重灾区——100条SQL听起来夸张,拆开看每一条都“合理”,合在一起就是灾难。

产业逻辑在于:查询模式的劣化是渐进的、不可见的。监控面板上每次刷新100条SQL,单条都不慢,SLA也达标,没有任何一条红线会被触发。等有人意识到问题时,这100条SQL已经被上游的缓存、业务逻辑、前端契约层层依赖,动哪一条都可能引发连锁反应。技术债最贵的地方,从来不是利息,而是它会让所有后续改动都变贵。

🔒 二、scatter query:锁死16个分片的真凶

真正的杀手是scatter query(散射查询)。所谓scatter query,就是查询条件里没有分片键,数据库中间层不知道该把这条SQL发给哪个分片,只能广播给全部分片、各自执行、再归并结果。

这个机制是怎么一步步锁死架构的?我们把它画出来:

关键在这里:一条带分片键的查询,成本是1个分片;一条scatter query,成本是16个分片。当无分片键查询占了相当比例,数据库集群的整体负载就与“分片数”线性挂钩——你每加一个分片,所有scatter query的开销就翻倍地涨。加分片本来是为了扩容,结果扩容本身会让scatter query更慢,于是扩容这条路被彻底堵死。16个,就是这个系统在“扩容收益”和“散射开销”之间达到平衡的那个点。

据接近GitHub工程团队的人士透露过的普遍感受是:分片数锁死,意味着数据层的水平扩展自由度事实上归零,团队只能靠升级硬件、加缓存、拆读流量来续命。

更深一层的产业判断是:分片架构的健康度,从来不取决于分片中间件多先进,而取决于上游有多少应用代码“尊重”分片键。分片是一个全栈契约,一旦应用层大量违约,数据层的所有精巧设计都会被架空。这也是为什么近两年越来越多团队在重构数据层时,把“让应用层感知数据拓扑”重新写进架构原则——十几年前被ORM抽象掉的东西,最终还是要有人还回来。

🧭 三、想解开这个死结,路其实就四条

面对“100条SQL+16个分片锁死”的局面,业界能选的路,摆到一张四象限图上看得很清楚:

  • 补全分片键(右上,领跑者):改造难度中等,但收益极高——它直接把scatter query降维成单分片查询,是唯一能真正解锁扩容的手段。代价是要梳理和改写上游大量Active Record调用,工程量集中在业务代码。
  • 查询治理与缓存(左中,潜力股):见效快、风险低,给最热的查询加缓存、合并N+1,能把100条砍到几十条。但它治标不治本,分片锁死的问题原封不动。
  • 迁移分布式数据库(右上偏右,潜力股):原生分布式存储从根上消解scatter query问题,但迁移成本和风险都极高,对一个承载全球开发者代码资产的平台来说,这不是一个季度能做完的决定。
  • 继续堆硬件(左下,存量玩家):最省事,最不可持续。硬件升级带来的余量,会被业务增长和查询劣化按年吃掉。

大多数成熟平台的真实选择是组合拳:先做查询治理止血,再用一两年时间补分片键,分布式数据库作为长期选项挂在路线图上。这条路不是理论——GitHub自己后来就在官方工程博客中介绍过,团队引入了CNCF毕业的分片中间件Vitess来统一管理MySQL的水平分片,把分片规则和路由收拢到数据中间层,让应用层不必各自为战。换句话说,今天解题的思路,和当年埋雷的思路指向同一件事:把“分片契约”重新变成系统里显式、可执行的一部分,而不是留在每个开发者的肌肉记忆里。

判断一个团队工程成熟度的标尺,不是它有没有技术债,而是它敢不敢对技术债排优先级。

🐘 四、PostgreSQL 18发布:新平台为什么起点更高

同一时间线上,另一件事值得关注:PostgreSQL 18正式发布,开源数据库迎来了年度大版本更新。

这两件事放在一起看很有意思。像GitHub这样的老平台,数据层演化受制于十年沉积的查询模式和迁移成本;而今天启动的新平台,可以直接把最新版本的成熟开源数据库作为起点,避免重走一遍“ORM顺手写查询→散射查询锁死扩展性”的老路。

新旧路径的差异,本质是两份不同的“痛苦清单”:

老平台数据层的痛点与解法
痛点 1
无分片键的scatter query导致扩容锁死
→
解法
架构评审强制声明分片键,查询上线前做执行计划门禁
痛点 2
ORM顺手生成低效SQL,存量难清理
→
解法
慢查询治理平台化,按集群成本排序逐个改造
痛点 3
首页等聚合页跨集群查询爆炸
→
解法
读写分离加聚合服务化,把多表JOIN下沉为专用读模型
痛点 4
闭源老库绑定深,迁移窗口难寻
→
解法
借助开源数据库生态与成熟迁移工具,分批次灰度切换

还有一个容易忽略的观察角度:开源数据库的年度发布节奏,本身就在改写行业的时间坐标系。PostgreSQL社区按年迭代,每一代新平台、新团队都自动站在最新的能力基线上;而自建或深度绑定的老系统,能力曲线是自己的,一旦演化停滞,与开源基线的差距就会逐年拉大。这也是为什么近几年“从自研/老版本向开源主线收敛”成为不少平台数据团队私下讨论的方向——据多位数据库圈的从业者说,这已经是“不是要不要、而是什么时候”的问题。

对产业而言,PostgreSQL 18这类年度大版本的意义不在于单个特性,而在于它持续抬高了“什么都不做”的机会成本。

💡 五、技术债的复利,比业务增长更快

回到GitHub这个案例,把它抽象成一个通用模型,技术债的演化大致是这样的链条:

阶段表现代价
早期ORM加速开发,查询随手写几乎为零,被当成“免费的效率”
中期数据量增长,慢查询出现加缓存、加硬件,局部止血
恶化scatter query占比上升扩容收益递减,扩展性开始锁死
锁死分片数固定,架构自由度归零每个新需求都要绕着数据层设计

这个模型的可怕之处在于:技术债的复利增速,往往快于业务本身的增长。业务翻倍,查询模式劣化带来的开销可能翻四倍——因为散射查询的成本和分片数、数据量、查询数是相乘关系。

放在更大的产业语境里,这件事还有一个新变量:AI。训练数据管道、向量检索、特征回溯,都在把“数据层能否灵活扩展”从后台问题推到前台问题。这不是抽象的担忧,市场已经给出了定价信号:2023年,向量数据库厂商Pinecone单轮融资1亿美元、估值冲到7.5亿美元,Milvus、Weaviate等开源向量库同期相继成熟——资本和开源社区押注的是同一件事:AI负载需要独立、可弹性扩展的数据层。再看具体链路:一条典型RAG请求的检索环节,要在几十毫秒内从数亿级向量中完成近邻召回,且候选集规模随业务线性增长;头部团队的普遍做法是把向量检索独立成专门的服务和存储,而不是塞进主业务库。原因和GitHub的困境是同一个:AI数据负载的查询模式——读多写少、扫描面广、规模涨得快——恰恰是scatter query最怕的那类负载。一个分片锁死在16个、首页要跑100条SQL的数据底座去承接AI负载,等于让一艘锈住的老船去跑新航线——而且是在新航线开航之前,就把船的弹性提前花光了。这也是当下很多平台把“数据层现代化”重新提上日程的真实动因——不是恐惧技术潮流,而是AI负载把旧债的利息一次性调高了。

数据架构的每一次“顺手”,都会在未来某天标好价格。

小结

Maude Lemaire这次披露的价值,不在于爆料GitHub的短板,而在于提供了一个难得的解剖样本:100条SQL、3个集群、16个分片,三个数字串起了一条技术债从“免费效率”到“架构锁死”的完整路径。对正在建设数据平台的团队来说,教训朴素但昂贵——ORM的便利要收着用,分片契约要从第一天就写进应用层,查询治理要平台化而不是靠英雄主义。而PostgreSQL 18的发布提醒我们:开源基线在逐年抬升,所有“维持现状”的选择,其实都在悄悄付出越来越高的代价。

如果要把这篇分析变成团队里可执行的东西,建议再带上三个自检问题:第一,慢查询Top 10里,有多少条不带分片键、靠广播完成?第二,“加一个分片”在今天是一次配置变更,还是一次跨季度重构?第三,如果下个季度要接入一条AI数据管道,现有数据层的第一反应是“接进来”还是“先等等”?三个问题里只要有一个答不上来,说明数据债已经在产生复利,只是还没到对账日。下一个十年,数据层的竞争力不属于走得最快的平台,属于还改得动的那个。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)