自建日志聚合出问题时的排查顺序：从现象到根因

retention 默认不生效，要在 limits_config 里配并且开启 compactor

正确的第一步是分类：起不来、连不上、跑得慢，三条路完全不同。

先说结论

先分三类，再由外向内查：网络、进程、配置、依赖、资源。

• 先确认现象能复现，且能描述清楚
• 由外向内：端口、进程、配置、依赖、资源
• 读第一条错误，不是最后一条
• 改一个变量，验证一次，别一次改五处
• 留下记录：现象、假设、验证、结论

第一类：起不来

先看进程在不在，再看它为什么退出：retention 默认不生效，要在 limits_config 里配并且开启 compactor。

• 查看服务状态与最近日志（不是全部日志）
• 确认端口是否被占用、权限是否足够
• 确认配置文件语法（多数服务支持 test 模式）
• 确认依赖的数据目录存在且可写

第二类：连不上

按「本机、网络、代理、应用」四层查：

第三类：跑得慢

单条日志超过 256KB 会被拒收，长堆栈要截断。

慢的问题先分清是「等」还是「算」：CPU 高是算，CPU 低但延迟高是等（IO、锁、网络）。

这个服务的高频故障点

同类的坑基本集中在这些位置：

• 把 trace_id 或用户 ID 当标签会让基数爆炸，几十万条流拖垮写入
• retention 默认不生效，要在 limits_config 里配并且开启 compactor
• 单条日志超过 256KB 会被拒收，长堆栈要截断
• 查询时间范围越大越慢，30 天的全量 grep 可能要几分钟

别做的事

没配 retention，一年后存储涨到几个 TB

用 Loki 存审计日志，要求精确检索才发现正文没索引

一次改多个参数，会让下一次故障更难查。

把结论写下来

排查记录不是给别人看的，是给三个月后的自己看的。查询时间范围越大越慢，30 天的全量 grep 可能要几分钟。

还有几处容易忽略的

都是小地方，但出问题时往往就卡在这里。

• Loki 只给标签建索引，正文靠暴力扫描，标签设计直接决定查询快慢
• Promtail 按文件 tail，容器日志要先落到节点磁盘才采得到
• 给每个容器加 version 标签，每次发布多一条流，一年几十万条

排障能力不是知道更多命令，是知道先查什么。