CI 流水线出问题时的排查顺序：从现象到根因

测试按文件切成 4 片并行，总时长接近原来的三分之一，不是四分之一

正确的第一步是分类：起不来、连不上、跑得慢，三条路完全不同。

先说结论

先分三类，再由外向内查：网络、进程、配置、依赖、资源。

• 先确认现象能复现，且能描述清楚
• 由外向内：端口、进程、配置、依赖、资源
• 读第一条错误，不是最后一条
• 改一个变量，验证一次，别一次改五处
• 留下记录：现象、假设、验证、结论

第一类：起不来

先看进程在不在，再看它为什么退出：测试按文件切成 4 片并行，总时长接近原来的三分之一，不是四分之一。

• 查看服务状态与最近日志（不是全部日志）
• 确认端口是否被占用、权限是否足够
• 确认配置文件语法（多数服务支持 test 模式）
• 确认依赖的数据目录存在且可写

第二类：连不上

按「本机、网络、代理、应用」四层查：

第三类：跑得慢

PR 跑全量、主干只跑增量，是最省机器的一种分工。

慢的问题先分清是「等」还是「算」：CPU 高是算，CPU 低但延迟高是等（IO、锁、网络）。

这个服务的高频故障点

同类的坑基本集中在这些位置：

• 依赖缓存命中率从 0 提到 80%，安装阶段通常能省 60-70% 的时间
• 测试按文件切成 4 片并行，总时长接近原来的三分之一，不是四分之一
• PR 跑全量、主干只跑增量，是最省机器的一种分工
• 缓存 key 带上锁文件哈希，锁一改就自动失效，比手动清缓存可靠

别做的事

缓存 key 用固定字符串，依赖升级后还在用旧缓存

失败自动重试三次，把不稳定的测试掩盖成偶发

一次改多个参数，会让下一次故障更难查。

把结论写下来

排查记录不是给别人看的，是给三个月后的自己看的。缓存 key 带上锁文件哈希，锁一改就自动失效，比手动清缓存可靠。

还有几处容易忽略的

都是小地方，但出问题时往往就卡在这里。

• CI 时间超过 15 分钟后，开发者开始绕过它，直接在本地合并
• 构建产物不保留，出问题时无法复现当时那一版二进制
• 所有任务串行跑，一次 CI 40 分钟，最后没人等结果

排障能力不是知道更多命令，是知道先查什么。