文章标题载入中
## 一、故障现场:从 3% 到全站不可用
凌晨 02:14,告警先响在上游:某个依赖的 P99 从 80ms 涨到 2 秒。我们的服务对它的超时设的是 500ms,于是大约 3% 的请求开始超时。按常理,这只是一次轻微抖动,撑过去就好。
但九十秒后,监控曲线变了形:上游 QPS 从平时的 800 涨到 2400,CPU 打满,成功率从 97% 一路跌到 40% 以下;接着我们的服务也开始排队、超时,告警从一条变成一片。故障不是从上游传导过来的,是我们自己把 3% 的失败放大成了 300% 的流量,亲手压垮了正在恢复的上游。
## 二、算一笔账:重试的放大倍数
出问题的是这段随处可见的代码:超时就重试,最多 3 次,间隔 1 秒、2 秒、4 秒。看起来很克制,对吧?算一下:
平时 800 QPS,3% 失败即 24 个请求进入重试;每个失败请求平均多发 2 次,额外流量只有约 48 QPS,不到 6%。可一旦上游变慢,失败率不是 3% 而是 30%、50%:400 个失败请求 × 平均 2 次重试 = 800 额外 QPS,流量直接翻倍。更糟的是重试的请求同样要等 500ms 超时,连接池被重试占满,正常请求连排队的机会都没有——新请求、重试请求在同一个池子里互相挤占,最后谁都出不去。
这就是重试风暴的本质:重试把“失败”从一种结果变成了一种流量,而且是在系统最虚弱的时候,以最高倍率放大。
## 三、排查:让波峰对齐的那一行代码
复盘时我们在日志里看到一个反常数字:重试请求的占比从平时的 2% 涨到了 61%,而且它们几乎同时到达。原因是退避间隔是固定的:1 秒、2 秒、4 秒。所有客户端在同一时刻遭遇超时,又在同一时刻发起重试,波峰严丝合缝地对齐,一波未平一波又起。
真正的凶手不是“重试了三次”,而是“所有人在同一节拍上重试”。固定退避制造了同步,同步制造了脉冲,脉冲压垮了上游。单看任何一个客户端的代码都无辜,合在一起就是一场有组织的 DDoS——还是我们自己对自己发起的。
## 四、修复:三件套,而不是一个参数
我们没有简单地把“重试 3 次”改成“重试 1 次”,而是上了三件套:
第一,指数退避加全抖动(full jitter):退避时间不再是固定的 1、2、4 秒,而是 `rand(0, min(cap, base × 2^n))`。抖动把重试打散到整个时间窗口里,波峰对齐的问题从根上消失。这一行代码,是整次修复里性价比最高的一行。
第二,重试预算(retry budget):每分钟允许的重试次数上限为正常请求量的 10%。预算耗尽时直接快速失败,不再补发。重试从“无限善意”变成了“有配额的善意”,系统在最差情况下也不会被自己的重试流量淹没。
第三,熔断器:连续失败超过阈值就熔断 30 秒,期间请求直接返回降级结果,不再触碰上游。熔断不是认输,是给上游留出恢复的窗口——上游恢复得越快,整体恢复得越快。
上线后我们又压测了一次:把上游人为延迟到 2 秒,成功率稳在 96% 以上,上游 QPS 只涨了 8%。同样的故障,结局完全不同。
## 五、取舍与结论
重试不是免费的保险,它是一笔要付保费的借贷:借的是上游在故障时刻最稀缺的容量。取舍很清楚:对读请求、且服务端幂等的前提下,重试值得做;对写请求,没有幂等键就不要重试,宁可让用户看到一次明确的失败,也不要让一笔支付被执行两次。
这次故障教会我们的是:系统的韧性不在于每个组件多努力,而在于它们在压力下是否还会互相留余地。一行抖动代码,九十秒的雪崩,与其说是技术教训,不如说是工程上的谦逊——承认自己也会成为压垮别人的最后一根稻草,然后把“不添乱”写进代码里。
——主理人手记