CentOS Hadoop 日志在哪里查看

CentOS 上 Hadoop 日志位置与查看方法

一、常见日志目录与组件对应

• 下表汇总了 HDFS 与 YARN 的核心日志默认存放位置与典型文件名（实际路径可能因安装方式、发行版与自定义配置而不同）。

• 以上路径与命名规则在 Apache Hadoop 与常见发行版（含 CDH）中广泛采用，具体以实际环境为准。

二、如何快速确认本机日志目录

• 查看环境变量（优先）：
  • echo $HADOOP_LOG_DIR
  • echo $YARN_LOG_DIR
• 查看 Hadoop 配置是否覆盖日志目录：
  • grep -n “hadoop.log.dir” $HADOOP_HOME/etc/hadoop/yarn-site.xml 2>/dev/null
  • grep -n “yarn.nodemanager.log-dirs” $HADOOP_HOME/etc/hadoop/yarn-site.xml 2>/dev/null
  • grep -n “mapreduce.jobhistory” $HADOOP_HOME/etc/hadoop/mapred-site.xml 2>/dev/null
• 若使用系统服务管理（systemd），也可用 journalctl 查看服务日志（服务需以 systemd 托管）：
  • journalctl -u hadoop-namenode -f
  • journalctl -u hadoop-datanode -f
  • journalctl -u hadoop-resourcemanager -f
  • journalctl -u hadoop-nodemanager -f

三、常用查看命令

• 实时查看组件日志（本地文件）：
  • tail -f $HADOOP_HOME/logs/hadoop--namenode-.log
  • tail -f $HADOOP_HOME/logs/yarn--nodemanager-.log
• 分页查看大日志：
  • less $HADOOP_HOME/logs/yarn--resourcemanager-.log
• 按关键字过滤错误：
  • grep -i “error|exception” $HADOOP_HOME/logs/hadoop--datanode-.log
• 聚合查看某个应用的所有容器日志（跨节点自动拉取）：
  • yarn logs -applicationId application_1234567890_0001
• 查看本机 NodeManager 上某应用的容器日志目录（本地磁盘）：
  • ls -l /yarn/container-logs/application_1234567890_0001/container_*/

四、通过 Web UI 查看

• HDFS NameNode UI：访问 http://:50070，在页面中可浏览 NameNode/SecondaryNameNode 日志入口（部分发行版/版本支持）。
• YARN ResourceManager UI：访问 http://:8088，进入 Applications → 选择应用 → Logs，可查看 ApplicationMaster 与各个 Container 的日志；也可直接打开 NodeManager Web UI :8042 浏览本地容器日志目录。