集成与管道治理与安全技术评论分析· 4956 字· 约9分钟阅读

跑了两次的脚本,把账户余额翻了个倍

A
AI编辑团队AI 原创内容
2026-11-16 14:26 发布· 本文由作者与AI协作完成
本内容由人工智能生成,仅供研究参考,不构成投资建议。
💡

一次300行的回填脚本因死锁中断,运维顺手重跑,120万行账户调整被二次执行,余额悄然翻倍,三天后才被客服发现。本文从事故切入,拆解幂等性缺失的产业级代价,给出四条工程落地方案,并判断:数据可靠性的下一步,是把'小心'变成平台默认。

一个 300 行的回填脚本,在第 120 万行撞上死锁。运维做了最符合直觉的事:再跑一遍。三天后,客服发现一些客户的账户余额超过了他们的历史消费总额——钱,凭空多了一倍。

这不是孤例,而是数据行业最典型的隐性事故形态:没有宕机、没有告警、没有入侵,只是一段“跑了两遍”的 SQL。本文的判断很简单:在数据工程里,“重跑安全”不是文档里的一行注意事项,而是系统的第一性约束。谁不把它做成默认能力,谁就在替未来的事故埋单。

⚠️ 事故还原:一条没有记忆的 UPDATE

““安全的脚本只能安全一次,第二遍就是事故。”

先看这段脚本的骨架,核心逻辑只有几行:

`sql

UPDATE accounts

SET balance_cents = balance_cents + %s

WHERE id = %s

`

问题一目了然。这是一条增量式更新(increment),不是赋值(assignment)——它不记录“我是否执行过”。可以还原出几个具体的技术细节:

  • 脚本按行循环提交,每行一个独立事务,跑到第 120 万行时两个批量任务争抢同一批行锁,触发死锁(以 PostgreSQL 为例,对应错误码 SQLSTATE 40P01),数据库主动回滚并终止了其中一个进程;
  • 脚本没有任何守卫条件——没有 WHERE processed = false 这样的状态标记,也没有批次水位记录,重跑无法区分“已处理”和“未处理”;
  • 运维重跑后,前 120 万行账户的调整被原封不动地又应用了一次。

用一张图还原整条事故链:

注意几个细节:事故不是死锁本身——死锁是数据库正常行为,重试也是标准操作;事故是重试语义与更新语义不匹配。增量操作天然不可重入,而运维的重试动作完全合理。也就是说,这口锅既不该甩给写脚本的人,也不该甩给重跑的运维——它属于把“幂等性”留给个人自觉的整个流程设计。

更值得警惕的是发现方式:不是监控,不是对账,而是客服工单。客户余额大于历史消费,这种肉眼可见的异常,居然在系统里潜伏了三天。这说明这条链路上缺少最基础的两道防线:业务不变量校验(余额 ≤ 累计消费)和回填后的抽样对账。

产业逻辑层面,这类事故的成本结构极其恶劣:修复本身不难(写一条反向冲正脚本),难的是找到所有被影响的人。一旦数据被下游同步、聚合、进了报表甚至训练集,污染范围就不再可控。很多公司事后花的钱,十倍于事故本身。

🔁 幂等性:写在每本教科书里,缺席于每个排期里

“"Everybody knows idempotency, nobody schedules it."

幂等性(idempotency)在分布式系统课程里是第一章的内容:同一个操作执行一次和执行多次,结果应当一致。可到了真实的排期表里,它永远排在“功能上线”之后。

翻看历年公开的技术复盘和事故报告(postmortem),这类事故的共同画像高度一致:写脚本的人很小心,但没有机制兜底。小心是人的属性,会请假、会离职、会在周五晚上赶工;机制才是系统的属性。

把“重跑安全”的实现路径整理成一张知识地图:

核心判断有三条:

第一,累加改赋值是最便宜的幂等化。 把 balance + %s 改成基于源数据重算的赋值,或者先 DELETE 后按全量重写,重跑一百遍结果也一样。代价是要求脚本“有源可溯”——你必须能从原始数据重推出目标状态。这也是为什么湖仓架构强调“可重放的管道”:上游永远是真相,下游永远可以重建。

第二,执行记录是幂等的账本。 在批次级别维护水位(watermark)或已处理主键清单,重跑时先查账、跳过已完成部分。这在 Airflow、dbt 这类编排工具里已经是标准能力,但很多人只用了它们的调度功能,没用断点续跑和原子性边界。

第三,不变量校验是最后一道闸。 “余额不得超过累计消费”这种业务规则,完全可以写成 SQL 断言,跑在每次批处理之后。它抓不住所有 bug,但能抓住最贵的那些。

📊 语义选择不是技术题,是成本题

““你选择哪种写入语义,就是在选择为哪种故障概率付费。”

把主流的批处理写入策略放进一张定位图,会发现一个残酷的规律:可靠性越高的方案,前期工程成本越高;而偷懒方案的代价,是延迟支付的、带利息的。

左下角那个“增量累加、无执行记录”的点,就是本次事故脚本的坐标。它最便宜,也最危险——所有事故成本后置的方案,都会在这张图的左下角聚集。

用一张表把四种方案的取舍说透:

方案重跑安全性实现成本适用场景主要风险
增量累加(原脚本)❌ 不可重入极低一次性、可丢弃数据重跑即重复入账
赋值/覆盖式写入✅ 天然幂等中上游有完整源数据计算量大、依赖源质量
批次水位 + 跳过✅ 有条件幂等中低常规批回填水位与事务边界不对齐
Exactly-once 管道✅ 框架保证高金融级、资金类数据框架复杂度与运维成本

注意最后一行的取舍:Kafka 生态的事务与幂等生产者、Flink 的 checkpoint 机制,都能提供端到端 exactly-once 语义,但没有人会为一个月一次的内部报表上这套重武器。工程判断力的本质,是知道你的数据错一次值多少钱——资金类账户数据错一次,可能就是监管事件;分析类指标错一次,改了就行。

用一张问题-方案卡收敛这一节:

回填脚本可靠性改造清单
痛点 1
增量 UPDATE 无执行记忆,重跑即重复
→
解法
改为基于源数据的赋值式写入,天然幂等
痛点 2
脚本中断后人工重跑无前置检查
→
解法
批次水位表记录已处理主键,重跑自动跳过
痛点 3
异常数据三天后才被客服发现
→
解法
将业务不变量写成 SQL 断言,批后自动对账
痛点 4
死锁等瞬时故障触发全量重试
→
解法
缩小事务边界,失败只重试未完成分片

🏗 平台化的真正含义:把“小心”变成“默认”

““最好的架构评审,是让危险的操作根本写不出来。”

很多团队在事故复盘会上得出的结论是“加强 code review”。这是对的,但不够——人是不可靠组件,平台要替人挡住最常见的那类错误。

这正是数据平台(或者被叫烂了的“数据中台”)存在的正当性:不是概念,而是三条具体的工程承诺。

其一,管道资产化。 回填不该是散落在某台跳板机上的 300 行脚本,而应是平台上有登记、有版本、有重跑策略的管道任务。重跑按钮旁边应该自动浮现这个任务的历史幂等性评估——如果它是增量累加型,平台应当弹窗拦截。

其二,回填一等公民化。 行业里大量事故发生在“回填”这个动作上,因为它天然是绕过常规管道的旁路操作。成熟平台会把回填做成标准能力:声明目标逻辑 → 框架自动按分片执行 → 自动记录进度 → 自动断言校验。人只负责写“这段数据应该长什么样”,不负责写“怎么安全地跑”。

其三,对账常态化。 素材中事故潜伏三天,本质是缺少自动对账。金融行业的“总分核对”(明细汇总必须等于总账)是上百年的教训换来的制度,数据平台完全可以直接移植:每天凌晨跑不变量断言,异常即熔断下游同步。

判断一个平台是真平台还是 PPT 平台,标准其实很朴素:看它的核心 KPI 是“支撑了多少需求”,还是“多少危险操作被平台默认拦截”。指标取向的差异,比任何汇报材料都诚实。

🤖 AI 时代,这个问题被放大而不是消失

““管道越自动,幂等越致命。”

一个容易被忽视的趋势:随着 AI 数据管线兴起,批量数据处理——清洗、标注回填、特征回算、合成数据生成——的规模和频次都在上升,而这些管线同样会死锁、会中断、会被运维重跑。一条特征回填跑两遍,影响的不只是报表,可能是训练数据分布。

同时,Agent 自动化运维正在把“人做最直觉的事”这个环节变成“机器做最直觉的事”——出错自动重试是所有 Agent 框架的默认策略。当重跑从人工动作变成自动化动作,幂等性就从“建议”升级为“生死线”。一个不可重入的脚本 + 一个勤快的重试 Agent,等于一台不知疲倦的重复执行机器。

这就回到本文开头的数据要素视角:数据要流通、要入表、要成为资产,前提是可审计、可追溯、可重放。一次说不清“这行数据是谁在什么时候写进去的、写了几次”的数据,在合规意义上的价值是打折的。血统(lineage)和幂等,正在从工程美德变成资产定价的一部分。

结语

一个 300 行脚本跑了两遍,把余额翻了一倍——事故很小,教训很大。它浓缩了数据工程的三个基本事实:

1. 重试是常态,不可重入才是异常。 死锁、超时、进程被杀,这些都不是“会不会发生”的问题,而是“何时发生”的问题。任何一段假设“我只跑一次”的代码,本质上都是在赌运气。

2. 幂等性不能依赖个人的“写得小心”,必须成为平台默认。 人会疲惫、会离职、会赶工,机制不会。累加改赋值、批次记水位、批后跑断言——三件事没有一件需要尖端技术,缺的只是排期表上的那一行。

3. 发现机制的落后,往往比 bug 本身更贵。 事故靠客服工单发现而不是靠对账发现,说明防线缺位的时间窗口远大于 bug 存在的时间窗口。污染一旦扩散到下游,修复成本就从小时级变成月级。

接下来两年,随着 Agent 自动化接管运维动作和 AI 数据管线规模膨胀,“跑了两遍”这类事故的发生频次大概率不降反升。谁先把幂等、水位、对账做成默认能力,谁才能真正睡个安稳觉。