Linux 存储池的高级管理：合理规划磁盘 I/O 资源

Linux存储池是LVM、Ceph等工具构建的逻辑抽象，高级管理聚焦I/O可预测性、隔离性与效率；需按业务I/O特征划分池（如NVMe SSD池配随机小写、HDD池配大块顺序读写），并结合cgroups v2限流、调度器与文件系统协同调优，辅以iostat等工具实现动态再平衡。

Linux 存储池本身不是内核原生概念，而是由 LVM、Ceph、ZFS 或 Stratis 等上层管理工具构建的逻辑抽象。所谓“高级管理”，核心是围绕 I/O 资源的可预测性、隔离性与效率展开——不是简单堆叠磁盘，而是让不同负载按需获得匹配的 I/O 能力。

按业务特征划分 I/O 类型并分配存储池

同一台服务器上，日志写入、数据库事务、备份归档、用户上传可能同时发生，但它们的 I/O 模式截然不同：

• 随机小写密集型（如 MySQL redo log、PostgreSQL WAL）：要求低延迟、高 IOPS，适合挂载到 NVMe SSD 池或 RAID 10 阵列
• 大块顺序读写型（如视频转码、备份 rsync、对象存储冷数据）：更看重吞吐量，可分配给大容量 SATA HDD 池或纠删码（EC）池
• 混合读写+元数据频繁型（如 NFS 共享、容器镜像仓库）：需兼顾 IOPS 与延迟，推荐 XFS + SSD 池，并启用 inode64 和 logbsize=256k

避免把所有服务共用一个 LVM 卷组或 Ceph OSD pool，否则一次备份扫盘就可能拖垮数据库响应。

利用内核级 I/O 控制机制实现资源隔离

仅靠文件系统挂载点分离不够，需结合 cgroups v2 的 io.weight / io.max 进行硬限流：

• 为数据库进程组（如 mysqld.service）设置 io.weight=800，保障其在争抢时优先获得调度机会
• 为备份任务（如 backup.sh）限制带宽：io.max = dm-0 100M（限制对某逻辑卷的写入上限为 100MB/s）
• 配合 blkio.weight（cgroups v1）或 io.bfq.weight（BFQ 调度器下）微调公平性

注意：该能力依赖内核开启 CONFIG_BLK_CGROUP_IO_CTRL，且需使用 BFQ 或 mq-deadline 调度器（noop/cfq 不支持）。

跨层协同：调度器 + 文件系统 + 缓存策略对齐

存储池的 I/O 效率取决于三层联动是否合理：

• 设备层：SSD 池统一设为 none（即 mq-deadline 或 kyber），禁用寻道优化；HDD 池启用 mq-deadline 并调大 read_expire=1000
• 文件系统层：XFS 池建议挂载时加 noatime,swalloc,largeio；LVM thin pool 启用 discards 配合 TRIM
• 缓存层：调整 vm.dirty_ratio=30 和 vm.dirty_background_ratio=10，防止突发写入触发同步刷盘风暴；对数据库池可单独禁用 page cache（O_DIRECT）

可观测性驱动的动态再平衡

静态规划会过时，需建立基于指标的反馈闭环：

• 用 iostat -x 5 持续采集 r_await、w_await、aqu-sz，设定告警阈值（如 NVMe 写延迟 > 0.2ms 触发检查）
• 通过 ceph osd df 或 lvs -o+stripes,stripesize 定期分析各池的条带分布与热点倾斜
• 发现某 Ceph pool 的 pg_num 长期 > 95% 使用率，或 LVM LV 的 data_percent 接近 100%，自动触发扩容或数据迁移脚本

不复杂但容易忽略。