CentOS Hadoop 日志在哪里查看

作者：袖梨 2026-06-05

CentOS 上 Hadoop 日志位置与查看方法

CentOS Hadoop 日志在哪查看

一、常见日志目录与组件对应

  • 下表汇总了 HDFS 与 YARN 的核心日志默认存放位置与典型文件名（实际路径可能因安装方式、发行版与自定义配置而不同）。
组件常见本地路径典型日志文件示例备注
NameNode$HADOOP_HOME/logs 或 /var/log/hadoop-hdfshadoop--namenode-.log可在 hadoop-env.sh 中通过 HADOOP_LOG_DIR 自定义
DataNode$HADOOP_HOME/logs 或 /var/log/hadoop-hdfshadoop--datanode-.log每个数据节点本机一份
SecondaryNameNode$HADOOP_HOME/logs 或 /var/log/hadoop-hdfshadoop--secondarynamenode-.log与 NameNode 类似
ResourceManager$HADOOP_HOME/logs 或 /var/log/hadoop-yarnyarn--resourcemanager-.log也可在 yarn-env.sh 用 YARN_LOG_DIR 指定
NodeManager$HADOOP_HOME/logs 或 /var/log/hadoop-yarnyarn--nodemanager-.log每个计算节点本机一份
MapReduce 历史作业日志HDFS 上由 mapreduce.jobhistory.done-dir 指定history 文件通过 yarn logs -applicationId 聚合查看
Container 日志由 yarn.nodemanager.log-dirs 指定（本地磁盘）application_/container_/常配合 NodeManager Web UI :8042 查看
  • 以上路径与命名规则在 Apache Hadoop 与常见发行版（含 CDH）中广泛采用，具体以实际环境为准。

二、如何快速确认本机日志目录

  • 查看环境变量（优先）：
    • echo $HADOOP_LOG_DIR
    • echo $YARN_LOG_DIR
  • 查看 Hadoop 配置是否覆盖日志目录：
    • grep -n “hadoop.log.dir” $HADOOP_HOME/etc/hadoop/yarn-site.xml 2>/dev/null
    • grep -n “yarn.nodemanager.log-dirs” $HADOOP_HOME/etc/hadoop/yarn-site.xml 2>/dev/null
    • grep -n “mapreduce.jobhistory” $HADOOP_HOME/etc/hadoop/mapred-site.xml 2>/dev/null
  • 若使用系统服务管理（systemd），也可用 journalctl 查看服务日志（服务需以 systemd 托管）：
    • journalctl -u hadoop-namenode -f
    • journalctl -u hadoop-datanode -f
    • journalctl -u hadoop-resourcemanager -f
    • journalctl -u hadoop-nodemanager -f

三、常用查看命令

  • 实时查看组件日志（本地文件）：
    • tail -f $HADOOP_HOME/logs/hadoop--namenode-.log
    • tail -f $HADOOP_HOME/logs/yarn--nodemanager-.log
  • 分页查看大日志：
    • less $HADOOP_HOME/logs/yarn--resourcemanager-.log
  • 按关键字过滤错误：
    • grep -i “error|exception” $HADOOP_HOME/logs/hadoop--datanode-.log
  • 聚合查看某个应用的所有容器日志（跨节点自动拉取）：
    • yarn logs -applicationId application_1234567890_0001
  • 查看本机 NodeManager 上某应用的容器日志目录（本地磁盘）：
    • ls -l /yarn/container-logs/application_1234567890_0001/container_*/

四、通过 Web UI 查看

  • HDFS NameNode UI：访问 http://:50070，在页面中可浏览 NameNode/SecondaryNameNode 日志入口（部分发行版/版本支持）。
  • YARN ResourceManager UI：访问 http://:8088，进入 Applications → 选择应用 → Logs，可查看 ApplicationMaster 与各个 Container 的日志；也可直接打开 NodeManager Web UI :8042 浏览本地容器日志目录。

相关文章

精彩推荐