Linux环境下HDFS配置步骤有哪些

作者：袖梨 2026-07-20

在Linux环境下配置HDFS（Hadoop分布式文件系统）通常涉及以下几个步骤：

安装Java：Hadoop需要Java环境，因此首先确保你的系统上安装了Java。可以使用以下命令安装OpenJDK：
```
sudo apt updatesudo apt install openjdk-8-jdk
```

下载并解压Hadoop：从Apache Hadoop官网下载最新版本的Hadoop，并将其解压到你选择的目录中。

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gztar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/

配置Hadoop环境变量：编辑~/.bashrc或/etc/profile文件，添加Hadoop的环境变量。
```
export HADOOP_HOME=/usr/local/hadoop-3.3.4export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
然后使环境变量生效：
```
source ~/.bashrc
```

配置Hadoop：编辑Hadoop的配置文件，这些文件位于$HADOOP_HOME/etc/hadoop目录下。

core-site.xml：配置HDFS的URI和临时目录。

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-3.3.4/tmp</value></property></configuration>

hdfs-site.xml：配置HDFS的副本数和其他参数。

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/usr/local/hadoop-3.3.4/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop-3.3.4/data/datanode</value></property></configuration>

mapred-site.xml：配置MapReduce框架。

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

yarn-site.xml：配置YARN资源管理器。

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration>

格式化HDFS：在首次启动HDFS之前，需要对NameNode进行格式化。
```
hdfs namenode -format
```
启动Hadoop集群：启动HDFS和YARN服务。
```
start-dfs.shstart-yarn.sh
```
验证集群状态：使用以下命令检查HDFS和YARN的状态。
```
jps
```
你应该看到NameNode、DataNode、SecondaryNameNode、ResourceManager和NodeManager等进程。
访问Web界面：
- HDFS的Web界面：http://localhost:50070/
- YARN的Web界面：http://localhost:8088/