Ubuntu系统Python数据分析

作者：袖梨 2026-07-19

Ubuntu下Python数据分析完整流程指南

Ubuntu Python数据分析

一、基础环境搭建

  1. 安装Python与pipUbuntu系统通常预装Python3，但需手动确认并安装pip（Python包管理工具）。通过以下命令完成安装：

    sudo apt updatesudo apt install python3 python3-pip

  2. 配置虚拟环境（推荐）为避免不同项目的依赖冲突，建议使用虚拟环境隔离。创建并激活虚拟环境的命令如下：

    python3 -m venv myenv# 创建名为myenv的虚拟环境source myenv/bin/activate# 激活虚拟环境（激活后终端提示符会显示环境名）

    激活后，后续安装的库仅在该环境中生效，不会影响系统全局配置。

  3. 安装核心数据分析库通过pip安装Python数据分析的基础库，覆盖数值计算、数据处理、可视化等需求：

    pip3 install numpy pandas matplotlib seaborn scikit-learn jupyter
    • NumPy：用于高效数值计算（如多维数组运算）；
    • Pandas：提供DataFrame等数据结构，支持数据清洗、转换与分析；
    • Matplotlib/Seaborn：用于数据可视化（Matplotlib为基础库，Seaborn提供更美观的高级接口）；
    • Scikit-learn：机器学习库，支持分类、回归、聚类等任务；
    • Jupyter Notebook：交互式开发环境，适合探索性数据分析与结果展示。

二、数据获取与预处理

  1. 数据获取方式数据分析的第一步是获取数据，常见来源包括文件、数据库与网络：

    • 文件读取：使用Pandas读取CSV、Excel等格式文件：
      import pandas as pddf_csv = pd.read_csv('data.csv')# 读取CSV文件df_excel = pd.read_excel('data.xlsx', sheet_name='Sheet1')# 读取Excel文件
    • 数据库读取：通过SQLAlchemy连接数据库（如MySQL），执行SQL查询并将结果转为DataFrame：
      from sqlalchemy import create_engineengine = create_engine('mysql+pymysql://user:password@localhost:3306/database_name')df_db = pd.read_sql('SELECT * FROM table_name', engine)
    • 网络获取：使用Requests库获取网页数据，BeautifulSoup解析HTML内容（适用于爬虫场景）。

  2. 数据清洗与预处理原始数据通常存在缺失值、重复值或格式不一致等问题，需通过以下操作清理：

    • 处理缺失值：删除含缺失值的行，或用均值、中位数填充：
      df_clean = df.dropna()# 删除任何缺失值的行df['column'] = df['column'].fillna(df['column'].mean())# 用均值填充某列缺失值
    • 数据类型转换：将日期字符串转为datetime类型，便于时间序列分析：
      df['date_column'] = pd.to_datetime(df['date_column'])
    • 去除重复值：使用df.drop_duplicates()删除重复行。

三、数据探索性分析（EDA）

探索性数据分析是理解数据特征的关键步骤，通过统计分析与可视化快速掌握数据分布与规律：

  1. 描述性统计使用Pandas的describe()方法获取数值列的统计摘要（均值、标准差、最小值、最大值等）：

    print(df.describe())

  2. 数据可视化

    • 直方图：展示数值列的分布情况：
      import matplotlib.pyplot as pltdf['column'].hist(bins=20)plt.xlabel('Value')plt.ylabel('Frequency')plt.title('Histogram of Column')plt.show()
    • 箱线图：识别异常值与数据离散程度：
      import seaborn as snssns.boxplot(x='category_column', y='value_column', data=df)plt.show()
    • 折线图：展示时间序列数据的趋势变化：
      df.plot(x='date_column', y='value_column', kind='line')plt.title('Trend of Value Over Time')plt.show()

  3. 相关性分析使用热力图展示数值列之间的相关性，帮助识别变量间的关联：

    sns.heatmap(df.corr(), annot=True, cmap='coolwarm')plt.title('Correlation Heatmap')plt.show()

四、数据分析与建模

  1. 分组聚合与数据透视

    • 分组聚合：按某列分组，计算另一列的统计值（如均值、总和）：
      grouped = df.groupby('category_column')['value_column'].mean()
    • 数据透视表：创建交叉表，分析多列数据的关系：
      pivot = df.pivot_table(values='value_column', index='row_column', columns='column_column', aggfunc='mean')

  2. 机器学习建模（进阶）使用Scikit-learn进行简单的机器学习任务（以线性回归为例）：

    • 数据准备：划分特征（X）与目标变量（y），拆分训练集与测试集：
      from sklearn.model_selection import train_test_splitX = df[['feature1', 'feature2']]# 特征列y = df['target']# 目标列X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    • 模型训练与评估：使用线性回归模型拟合数据，评估模型性能：
      from sklearn.linear_model import LinearRegressionfrom sklearn.metrics import mean_squared_errormodel = LinearRegression()model.fit(X_train, y_train)y_pred = model.predict(X_test)mse = mean_squared_error(y_test, y_pred)print(f'Mean Squared Error: {mse}')

五、进阶工具推荐

  1. Anaconda发行版Anaconda集成了Python、pip及大量数据分析库（如NumPy、Pandas、Jupyter），并提供图形化管理工具（Anaconda Navigator），适合新手快速搭建环境。安装后可通过conda命令管理虚拟环境与库：

    wget https://repo.anaconda.com/archive/Anaconda3-2024.05-Linux-x86_64.shbash Anaconda3-2024.05-Linux-x86_64.sh# 按提示安装source ~/.bashrc# 激活Anaconda环境conda create --name myenv python=3.8# 创建虚拟环境conda activate myenv# 激活环境

  2. Dask与PySpark（大数据处理）当数据量超过内存限制时，可使用Dask（并行计算库）或PySpark（分布式计算框架）处理大规模数据：

    • Dask：将Pandas DataFrame转为Dask DataFrame，支持并行计算：
      import dask.dataframe as ddddf = dd.from_pandas(df, npartitions=4)# 分成4个分区mean = ddf['column'].mean().compute()# 计算均值（触发实际计算）
    • PySpark：通过SparkSession创建DataFrame，支持分布式处理：
      from pyspark.sql import SparkSessionspark = SparkSession.builder.appName("BigDataAnalysis").getOrCreate()sdf = spark.read.csv('large_data.csv', header=True, inferSchema=True)mean = sdf.selectExpr('avg(column)').collect()[0][0]```[3,7,9]

相关文章

精彩推荐