毁掉账本的,只是一次重跑
📋 总体概括
一段300行的回填脚本在死锁后被重跑一次,120万行账户调整被二次执行,客户余额集体翻倍,三天后才被发现。本文拆解这起典型事故:增量语句天然无记忆、重试是调度系统的本能、而框架的exactly-once语义兜不住一条裸SQL。幂等性不是可选项,是数据管道的安全边界。
📄 正文
一段 300 行的回填脚本,在一场再普通不过的死锁之后,被人原样重跑了一次。前 120 万行的账户调整被执行了第二遍,客户余额集体翻倍,三天后才有人察觉。写脚本的人其实很认真——这才是最值得警惕的地方。真正的坑不在于粗心,而在于一条「增量」语句天然没有记忆,而「失败重跑」是所有数据平台刻在本能里的动作。今天就来聊聊数据工程里最便宜、却最常被省掉的那道保险:幂等性。
🧨 先讲事故:每一环都「做对了」,结果全错
事故复盘最吓人的结论,是找不到一个犯错的人。
先还原现场。有人写了一段 300 行的回填脚本,给一批账户补一笔调整。跑到第 120 万行时撞上死锁,进程死了。值班工程师做了任何运维手册都会建议的事:再跑一遍。于是前 120 万行的每一个账户,那笔调整被应用了两次。整整三天没人发现,直到客服来问一个诡异的问题——为什么有些客户的账户余额,比他一辈子的消费总额还高。
回填脚本启动后死锁崩溃
运维原样重跑一遍
前段账户被二次入账
客服反馈余额大于消费
定位重复入账并修复
问题出在那条核心 SQL 上:UPDATE accounts SET balance_cents = balance_cents + %s WHERE id = %s。看清楚,这是一条增量,不是赋值。它没有记忆,不知道自己之前有没有跑过。对它来说,跑两遍不是重试,而是第二笔入账。用一句话概括:这个脚本「恰好只安全一次」(safe exactly once)——而现实中脚本几乎不可能恰好只跑一次。
把事故链拆开看:死锁后重试,是标准动作;回填失败重跑,是调度系统的默认行为;脚本本身语法正确、逻辑自洽。每一环单看都「正确」,组合起来就是一次资金事故。这揭示了一个朴素但常被忽视的判断:数据操作的可靠性,不能寄希望于「人很认真」,它必须被编码进操作本身的属性里。写一段只跑一次安全的代码,和建一个跑多次也安全的系统,是两件事。大多数团队只做了第一件。
🔁 跑两遍不是意外,是设计内的常态
在分布式系统里,「至少一次」是常态,「恰好一次」是定价商品。
很多团队对重跑的想象是:那是异常情况,很少发生。但打开任何一个主流技术栈的文档,你会发现完全相反的事实。Kafka 的默认投递语义是 at-least-once,消息本来就可能重复;Flink 要打开 checkpoint 并配合两阶段提交,才敢宣称端到端 exactly-once,而代价是吞吐下降和延迟上升;Airflow 这类调度器的默认哲学就是任务失败自动重试。换句话说,「同一批数据被处理两遍」不是系统的异常路径,而是整个技术栈围绕它做的设计。
据我拆过的多起数据事故复盘,一个反复出现的认知误区是:以为选了带 exactly-once 语义的组件就一劳永逸了。但框架的语义只覆盖框架看得见的操作——你在 Flink 算子里写的转换逻辑,它管得着;而一条绕过框架、直连数据库的裸 SQL 脚本,落在框架的保护半径之外,谁也保不了它。这起事故里的回填脚本,恰恰就是这种「体制外」的操作:不进调度、不做标记、没有状态记录,出了事全靠人的直觉补救。
所以正确的姿势不是去追求「永不重复」,而是反过来:默认一切操作都会被重复执行,然后要求每一次执行的结果都一样。这就是幂等性的本质。它不试图消灭重复,而是让重复变得无害。这条思路的成本分布极不均匀——有的方案改一行 SQL 就能落地,有的方案需要重构整个业务写入路径,这也是大量团队明知故犯、把它一路拖到出事之后再补的原因。
🧱 基础设施能兜到底层,兜不到最后一厘米
工具越买越多,最后一厘米还得自己走。
事故之后的复盘会上,几乎必然有人问:为什么不用更稳的方案?答案是,每一层工具都各管一段,没有谁替你管到底。Iceberg 这类湖仓表格式支持快照回滚,但它回滚的是表状态,回滚不了你已经写出去的业务后果——一笔已经翻倍的余额不会因为回滚快照而自动恢复认知;Spark 全量重算能给你一份干净的派生表,代价是实打实的算力和等待时间;dbt 的 full-refresh 同理,适合报表,不适合资金账户。大概率跑在 PostgreSQL 这类关系库上的源库更新,更是所有这些工具的盲区。
把市面上常见的「让重跑变安全」的手段放到一张图上看,会看得更清楚:
左上角是最危险的组合:成本极低、可靠性极差——那正是这起事故里「裸脚本原样重跑」的位置,也是大多数团队日常的实际状态。右下角的 CDC 重放和全量重算可靠性不错,但要么搭链路、要么烧算力。真正性价比最高的落点,是「业务幂等键」:在执行每个批任务前先写入一条处理记录,带着唯一键,写之前先查,查到就跳过。改造量中等,换来的是从根上消灭「跑两遍等于做两遍」。
| 方案 | 原理 | 改造成本 | 适用场景 |
|---|---|---|---|
| 业务幂等键 | 先查处理记录再写入 | 中 | 资金、库存等强一致场景 |
| upsert 覆盖写 | 重复执行结果相同 | 低 | 赋值型更新、维度表刷新 |
| 全量快照重算 | 从源数据重建结果 | 高算力 | 核心报表、可重建的派生表 |
| 检查点续跑 | 记录已处理范围 | 中 | 长回填、分批迁移 |
| CDC 重放 | 按变更日志恢复状态 | 高 | 实时链路容灾 |
一个务实的判断是:没有单一最优解,成熟团队通常混用。核心资金链路用幂等键,报表层用全量重算,长回填加检查点。真正的问题从来不是「不会做」,而是这些方案都需要在写第一行脚本之前就想清楚——而回填这种活,往往被当成脏活累活赶工完成。
📊 三天没人发现,缺的不是监控是对账
监控告诉你系统活着,对账才告诉你钱还在。
这起事故最扎心的细节是「三天」。技术上一切正常:进程跑完了,日志是干净的,没有任何告警触发——因为重复执行没有让任何程序崩溃,它只是安静地把业务算错了。直到客服带着「余额比累计消费还高」这种反常识的问题找上门,问题才浮出水面。也就是说,这套系统缺的不是监控指标,而是业务断言:余额不应超过累计消费、调整笔数不应超过账户数、入账总额应与源单据总额守恒。这类断言便宜得惊人,一个定时任务就能跑,但只要没写,系统就会用沉默掩护错误。
把这类事故的防御动作整理成一张清单,基本就是数据团队该贴在墙上的东西:
再往前看一步,这件事的紧迫性还在上升。AI 编码代理正在替人写脚本、替人「处理报错」——当进程崩溃时,一个自动化的 agent 做出「原样重跑」决定的概率,只会比人类更高、速度更快。过去的重跑至少还有一个人按下回车,还有一次犹豫的机会;未来的重跑可能发生在无人值守的深夜,以毫秒级的反应速度。届时,幂等性就不再只是数据工程师的代码洁癖,而是 AI 操作数据的安全边界:没有幂等约束的操作,根本不应该被授权自动执行。
小结
回头再看这起事故:300 行认真的代码、一个教科书式的死锁、一次符合直觉的重跑,凑成了一场余额翻倍的资损。它没有反派,只有一个缺口——操作本身不可重放,而系统里所有其他环节都在鼓励重放。基础设施能帮你回滚表、重算报表、重放日志,但那一厘米宽的业务幂等,只能自己补上。接下来,随着 AI 代理越来越多地接管数据操作,「重复执行」会从偶发事故变成高频常态。把幂等键、守恒对账这些便宜保险提前装好,比事后追责任何一个人都有用。
本文由本站 AI 辅助聚合生成,原始来源如下: