磁盘满了,服务却还在“活着”:一次日志打爆根分区引发的连锁故障排查
## 一、表象:一切正常,只是“写不进去”
告警先到:根分区使用率 100%。但服务进程都在,curl 返回 200,健康检查全绿。诡异的是新用户注册失败、上传图片报 500、定时任务静默跳过——读全正常,写全败。第一反应是删日志腾空间,可 df 显示根分区只剩 0 字节,du 扫了一分钟还没算出大头在哪,磁盘 IO 已被持续的日志写入占满。
## 二、定位:du 与 df 的数字对不上
df 说满了,du -sh /* 加起来却远不到分区大小,差值去哪了?lsof | grep deleted 给出了答案:一个被 logrotate 轮转后删除、却仍被进程 hold 住的 40GB 日志文件——文件删了,inode 没释放,空间没回来。另一头,/var/log 里某份 debug 日志一天涨了 30GB,原因是上游接口超时后把整段响应体打进日志,一行几 MB。
## 三、止血:先让服务能写,再谈根治
重启持有已删文件的进程,空间瞬间回来 40GB——但这只是止血,不是修。随后关掉 debug 级日志输出、把响应体截断到前 500 字符,并临时把日志目录挂到数据盘。这里有个陷阱:直接 rm 大日志文件而不重启进程等于没删;让进程重新打开文件描述符(reload 或 kill -USR1)才是正解。
## 四、根治:logrotate 不是“配了就行”
检查 logrotate 配置,copytruncate 与 create 各有利弊:copytruncate 不用重启进程,但有丢失窗口与 IO 峰值;create 需要进程配合 reopen。只按天轮转挡不住一天 30GB 的暴涨,加上 maxsize 与 hourly、按大小轮转才是真正的上限。磁盘水位告警从 90% 提前到 75%,并给 /var/log 单独分区——日志再疯,也只能撑爆自己的分区,拖不垮根分区。
## 五、结论与取舍
磁盘满不是“空间问题”,而是“写路径失控”:读正常、写失败的服务最难发现,因为健康检查往往只读不写。三个习惯值得留下:日志分级且默认不打 body;轮转按大小不按天;写操作也要进健康检查。池子、重试、磁盘——最近三次故障都是“资源耗尽”的不同面孔:系统不是被流量打垮的,是被自己的副产品淹死的。
——主理人手记