应用性能剖析出问题时的排查顺序：从现象到根因

只看 CPU 火焰图会漏掉「等 IO」和「等锁」，这两类要另外看

正确的第一步是分类：起不来、连不上、跑得慢，三条路完全不同。

先说结论

先分三类，再由外向内查：网络、进程、配置、依赖、资源。

• 先确认现象能复现，且能描述清楚
• 由外向内：端口、进程、配置、依赖、资源
• 读第一条错误，不是最后一条
• 改一个变量，验证一次，别一次改五处
• 留下记录：现象、假设、验证、结论

第一类：起不来

先看进程在不在，再看它为什么退出：只看 CPU 火焰图会漏掉「等 IO」和「等锁」，这两类要另外看。

• 查看服务状态与最近日志（不是全部日志）
• 确认端口是否被占用、权限是否足够
• 确认配置文件语法（多数服务支持 test 模式）
• 确认依赖的数据目录存在且可写

第二类：连不上

按「本机、网络、代理、应用」四层查：

第三类：跑得慢

30 秒采样能覆盖多数抖动，低于 5 秒的样本量不足以定论。

慢的问题先分清是「等」还是「算」：CPU 高是算，CPU 低但延迟高是等（IO、锁、网络）。

这个服务的高频故障点

同类的坑基本集中在这些位置：

• 火焰图的宽度是采样占比，不是耗时绝对值，别拿它当基准测试
• 只看 CPU 火焰图会漏掉「等 IO」和「等锁」，这两类要另外看
• 30 秒采样能覆盖多数抖动，低于 5 秒的样本量不足以定论
• 容器里跑 perf 需要 CAP_PERFMON 或 privileged，否则读不到内核符号

别做的事

在压测环境做剖析，流量形态和线上完全不同

开全量埋点 profiler，开销 20%，把问题变成另一个问题

一次改多个参数，会让下一次故障更难查。

把结论写下来

排查记录不是给别人看的，是给三个月后的自己看的。容器里跑 perf 需要 CAP_PERFMON 或 privileged，否则读不到内核符号。

还有几处容易忽略的

都是小地方，但出问题时往往就卡在这里。

• 采样型 profiler 的开销通常在 1-5%，可以在生产短时开启
• 内存剖析要区分分配次数和分配大小，泄漏常是次数少但每次很大
• 拿火焰图当性能测试，优化完发现线上没变化

排障能力不是知道更多命令，是知道先查什么。