HDFS集群扩容操作指南

一、扩容前准备

1. 资源充足性检查：确认集群有足够的空闲资源（CPU、内存、磁盘空间）接纳新节点，避免因资源不足导致扩容失败。
2. 配置文件一致性：确保所有NameNode和DataNode的core-site.xml、hdfs-site.xml配置文件一致（如fs.defaultFS、dfs.replication等核心参数），避免节点间通信异常。
3. 网络与安全配置：
   • 配置所有节点时间同步（使用NTP服务），避免时间差异导致的数据不一致问题；
   • 实现NameNode与所有DataNode之间的SSH无密码登录，简化后续操作；
   • 临时关闭防火墙（或放行HDFS相关端口，如8020、50070、50010等），确保节点间通信畅通。

二、新增DataNode节点步骤

1. 准备新节点

在新节点上完成Hadoop安装，并将现有集群的Hadoop配置文件（core-site.xml、hdfs-site.xml）复制到/etc/hadoop/conf/目录下，确保配置与集群一致。

2. 启动新DataNode服务

在新节点上执行start-dfs.sh命令，启动Hadoop服务（包括DataNode）。若集群启用了YARN，可同时启动YARN服务（start-yarn.sh）。

3. 验证节点加入

在NameNode上执行hdfs dfsadmin -report命令，查看集群状态。若新节点的IP地址、存储目录等信息出现在“Live DataNodes”列表中，说明节点已成功加入集群。

三、可选：调整HDFS配置优化性能

根据集群负载情况，调整以下核心配置项（修改hdfs-site.xml后需重启集群生效）：

• 副本数：dfs.replication（默认3，可根据存储成本和可靠性需求调整）；
• NameNode线程池：dfs.namenode.handler.count（默认10，建议设置为100以上，提升NameNode并发处理能力）；
• DataNode线程池：dfs.datanode.handler.count（默认10，建议设置为100以上，提升DataNode数据传输能力）；
• 块大小：dfs.blocksize（默认128M，大文件场景可调整为256M或更大，减少元数据压力）。

四、数据平衡操作

新增节点后，集群数据分布可能不均匀。需执行数据平衡操作，将数据从满载节点迁移到新节点，确保各节点存储利用率均衡：

1. 停止所有DataNode服务（stop-dfs.sh）；
2. 启动HDFS平衡器（start-balancer.sh），默认平衡阈值为10%（即节点存储利用率差异超过10%时开始迁移）；
3. 监控平衡进度（hdfs balancer -status），直至所有节点的存储利用率差异小于阈值。

五、扩容后验证

1. 集群状态检查：再次执行hdfs dfsadmin -report，确认新节点的磁盘空间使用率、数据块数量等指标正常；
2. 功能测试：向集群写入测试文件（如hadoop fs -put /local/file /test），检查文件是否能正常复制到新节点（可通过hadoop fs -ls /test查看文件块分布）；
3. 性能监控：使用Ganglia、Prometheus+Grafana等工具监控集群的CPU、内存、磁盘IO、网络带宽等指标，确保扩容未引入性能瓶颈。

注意事项

• 数据备份：扩容前务必备份重要数据，避免操作失误导致数据丢失；
• 低峰时段操作：扩容过程可能影响集群性能，建议在业务低峰期进行；
• 版本兼容性：确保新节点的Hadoop版本与现有集群一致，避免兼容性问题；
• 黑白名单管理：若需将节点加入黑名单（dfs.hosts.exclude），需重启集群生效；若从黑名单移除，执行hdfs dfsadmin -refreshNodes即可。