CDH修改PySpark默认Python版本

前言

PySpark一直使用的是Linux默认的Python2.7.5版本，感觉超级不爽，于是想升个级，可怎么升啊？于是又开始了万年的Google

操作步骤

安装Python3.X参考配置全局变量

sudo vim /etc/profileexport PATH=/usr/bin/python3:$PATHsource /etc/profile 打开CDH Web配置spark-env.sh文件如下：

即添加：

export PYSPARK_PYTHON=/usr/bin/python3export PYSPARK_DRIVER_PYTHON=/usr/bin/python3 重启CDH过时服务

然后就就可以开心的玩耍咯

参考