自建对象存储的资源账：内存、CPU 与 IO 到底花在哪

分片上传的 ETag 不是文件 MD5，校验要用 x-amz-checksum 头

做容量规划时，看三个数就够了：常驻内存、峰值内存、峰值持续时间。

先说结论

按「峰值 × 1.3」配内存，按「平均 × 2」配 CPU，按「峰值 × 3」留磁盘余量。

• 先量：常驻、峰值、峰值时长
• 内存：注意缓存与 RSS 的区别
• CPU：看是单核瓶颈还是多核瓶颈
• IO：随机读写最伤机械盘
• 扩容前先看是不是配置问题

三个必测的数

不测就调参，等于闭眼改代码：

• 常驻内存（RSS）：决定最低配置
• 峰值内存：决定会不会 OOM
• 峰值持续时间：决定要不要限流
• 磁盘日增量：决定备份与轮转策略

内存都去哪了

mc mirror 做增量同步，比 rsync 更懂对象与分片上传。

Linux 的 buff/cache 会让人误判内存不足，先看 available 而不是 free。

这个服务的几个资源事实

实测下来，它吃资源的方式比较固定：

• 纠删码的可用容量约为总容量的一半，不是四分之三
• mc mirror 做增量同步，比 rsync 更懂对象与分片上传
• 分片上传的 ETag 不是文件 MD5，校验要用 x-amz-checksum 头
• 大量小对象会拖慢列举，10 万个对象 ls 一次要几十秒

CPU 峰值怎么处理

峰值不可怕，可怕的是峰值期间没有排队机制，所有请求一起超时。

扩容还是优化

先做这三件事再谈扩容：限制并发、加缓存、异步化。多数「性能问题」在这三步之后就消失了。

还有几处容易忽略的

都是小地方，但出问题时往往就卡在这里。

• 单盘模式没有冗余，盘坏了数据直接没；纠删码 4 盘只能坏 2 盘
• 生命周期规则是后台异步扫描，配完不会立刻删除对象
• 单盘跑对象存储当唯一备份目标，盘坏了源和备份一起没
• 用 ETag 校验分片上传的文件，永远对不上
• 把 20 万个小文件塞进一个前缀，控制台列表直接卡死

性能优化的第一步，是知道自己现在有多慢。