Linux RabbitMQ故障排查做法

Linux 上 RabbitMQ 故障排查方法

一 快速定位流程

1. 服务与进程
   1. 检查运行状态：systemctl status rabbitmq-server
   2. 重启服务：systemctl restart rabbitmq-server
   3. 查看进程：ps -ef | grep rabbitmq
2. 端口与连通性
   1. 协议端口：5672（AMQP）、15672（管理 UI，启用时）
   2. 本机连通：telnet 127.0.0.1 5672、wget http://localhost:15672
   3. 远程连通：在客户端执行 telnet <服务器IP> 5672；若不通，排查网络与防火墙
3. 日志与告警
   1. 日志目录：/var/log/rabbitmq/，重点查看 [email protected] 与 [email protected]
   2. 关键字：ERROR/WARNING/resource alarm/network partition/failed to resolve
4. 集群与健康
   1. 节点状态：rabbitmqctl status
   2. 集群状态：rabbitmqctl cluster_status
   3. 队列与通道：rabbitmqctl list_queues name messages messages_ready messages_unacknowledged memory consumers、rabbitmqctl list_channels name consumer_count messages_unacknowledged、rabbitmqctl list_connections name state
5. 资源与限制
   1. 文件描述符：rabbitmqctl status | grep file_descriptors
   2. 系统/容器限制：ulimit -n、systemctl show rabbitmq-server | grep LimitNOFILE
6. 配置与权限
   1. 主配置：/etc/rabbitmq/rabbitmq.conf；环境变量：/etc/rabbitmq/rabbitmq-env.conf
   2. 数据目录权限：确保 /var/lib/rabbitmq/ 及子目录属主为 rabbitmq:rabbitmq

二 常见故障与修复要点

1. 远程访问不通
   1. 现象：管理页面或客户端连不上 15672/5672
   2. 排查：本机可访问而远程不可达，多为 firewalld/iptables 未放行端口
   3. 处置（CentOS 7+）：firewall-cmd --zone=public --add-port=15672/tcp --permanent && firewall-cmd --reload；同理放行 5672；验证：firewall-cmd --query-port=15672/tcp
2. 节点无法加入集群或启动失败
   1. 现象：cluster_status 异常、节点反复离线
   2. 排查：.erlang.cookie 不一致、主机名解析失败、残留 Mnesia 数据冲突
   3. 处置：统一 .erlang.cookie 权限为 400，修正 /etc/hosts 或 DNS，必要时清理冲突的 Mnesia 数据后重启
3. 网络分区与脑裂
   1. 现象：管理 UI 出现 Network partition detected，节点各自为政
   2. 排查：未放行 4369（epmd）/25672（Erlang 分发）、网络高延迟/丢包、节点负载过高
   3. 处置：优先恢复网络与心跳；按策略处理分区（如 pause-minority），再重建一致性
4. 磁盘/内存告警导致生产者阻塞
   1. 现象：日志出现 resource alarm，publish 被拒或阻塞
   2. 排查：磁盘空间不足、消息大量堆积、大消息写盘压力
   3. 处置：临时扩容/清理无用队列与日志；长期设置 队列长度 x-max-length、消息 TTL、采用 lazy queue、优化磁盘 I/O（如 SSD）
5. 文件描述符耗尽
   1. 现象：日志出现 too many open files，新连接失败
   2. 排查：ulimit -n 与 systemd LimitNOFILE 过小
   3. 处置：在 systemd 服务中设置 LimitNOFILE=65536（或更高），并重启服务
6. 消费者未确认导致堆积与内存飙升
   1. 现象：messages_unacknowledged 持续增长
   2. 排查：消费者处理慢、prefetch 过大、异常退出未 ack
   3. 处置：合理设置 QoS/prefetch（如 50），确保消费端正确 ack，优化消费逻辑与并发度

三 日志与关键命令速查

1. 日志定位
   1. 默认路径：/var/log/rabbitmq/[email protected]、[email protected]
   2. 实时查看：tail -f /var/log/rabbitmq/[email protected] | egrep ‘ERROR|WARNING|resource alarm|partition’
   3. 容器日志：docker logs <container_id>
2. 状态与资源
   1. 节点与集群：rabbitmqctl status、rabbitmqctl cluster_status
   2. 队列/通道/连接：见“快速定位流程”
   3. 文件描述符：rabbitmqctl status | grep file_descriptors
3. 访问控制与诊断
   1. 用户与权限：rabbitmqctl list_users、rabbitmqctl list_vhosts、rabbitmqctl set_permissions -p / my_vhost “." ".” “.*”
   2. 环境变量：rabbitmqctl environment
4. 异常终止与崩溃转储
   1. 检查是否存在 erl_crash.dump，必要时用 erl -noshell -eval ‘rdump:analyze(“erl_crash.dump”).’ -s init stop 辅助分析

四 预防与最佳实践

1. 版本与兼容
   1. 确保 Erlang/OTP 与 RabbitMQ 版本匹配，避免因不兼容导致崩溃或异常终止
2. 网络与集群
   1. 同可用区部署，低延迟网络；放行 4369/25672；集群规模建议 3 或 5 节点，策略采用 pause-minority 降低脑裂风险
3. 资源与容量
   1. 系统 ulimit -n ≥ 65535，systemd 设置 LimitNOFILE；磁盘预留 ≥ 30% 空间；对大堆积场景启用 lazy queue 与合理 TTL/长度 策略
4. 监控与告警
   1. 接入 Prometheus + Grafana，监控 磁盘/内存/队列深度/连接数/告警，设置阈值与恢复告警
5. 配置与变更
   1. 自动化管理 .erlang.cookie 与关键配置；上线前压测与故障演练（宕机、磁盘满、网络分区）