PID 1 与信号的长期维护:升级、备份与迁移的顺序

Docker · 3 分钟阅读· 262 次阅读

bash -c 里的 exec 很关键,少了它信号只到 bash,应用照样被强杀

把升级、备份、迁移这三件事流程化,才敢长期用。

先说结论

升级前先备份,备份后先演练恢复;不能回滚的升级不做。

  • 固定版本,改动前记录当前版本号
  • 升级前:备份数据 + 备份配置
  • 升级后:验证核心功能,不只看进程
  • 迁移:先迁数据,再迁流量
  • 回滚方案写在纸上,别只存在脑子里

升级策略

shell 形式的 CMD 会让 /bin/sh 成为 PID 1,应用自己收不到信号。

类型 频率 风险 做法
补丁版本 每月 低 直接升,保留旧镜像
次版本 每季 中 看变更日志,先在测试实例升
大版本 按需 高 读迁移指南,准备回滚
依赖升级 每季 中 锁版本,别用 latest

备份的三层

三层分别是:数据备份、配置备份、以及「能重建这台机器」的文档。缺第三层,前两层迟早用不上。

这个服务的几个维护事实

和它自身机制相关的几条:

  • docker stop 先发 SIGTERM 等 10 秒再 SIGKILL,退出码 137 就是被强杀
  • PID 1 不回收僵尸进程,长期运行会攒出一堆 defunct
  • tini 只有约 1MB,负责转发信号和回收孤儿进程,开销基本可以忽略

PID 1 与信号的长期维护

迁移的步骤

tini 只有约 1MB,负责转发信号和回收孤儿进程,开销基本可以忽略。

  • 新机器按文档重建环境,验证空跑
  • 同步数据,做一次一致性校验(条数、校验和)
  • 切换前用 hosts 指向新机器验证
  • 切换 DNS 或反代,保留旧机器一周
  • 观察日志与错误率,再决定是否下线旧机

维护日历

每月:看磁盘与日志;每季:升级 + 备份校验;每半年:恢复演练一次;每年:清理不再需要的服务。

还有几处容易忽略的

都是小地方,但出问题时往往就卡在这里。

  • 容器里的 PID 1 对没有 handler 的信号默认忽略,这是内核行为不是 Docker 的 bug
  • bash -c 里的 exec 很关键,少了它信号只到 bash,应用照样被强杀
  • CMD 写成 shell 形式,docker stop 每次都要等满 10 秒
  • 应用不处理 SIGTERM,数据库连接没关就断,留下锁
  • 把 --init 当万能药,应用自己的优雅退出还是没实现

长期维护的秘诀很土:每次只改一件事,改完就验证。

评论 (3)

老
老吴

备份没验证过等于没有,这条我认。

阿
阿哲

排查顺序那段直接抄进值班手册了。

南
南风

「先看日志再猜」这句话值一篇文。

发表评论

验证码

提交后需站长审核,通过后才会显示。