如何优雅处理网页爬取中缺失年份数据导致的 DataFrame 列不匹配错误

作者：袖梨 2026-07-07

本文介绍两种可靠方案解决爬取表格时因行数据列数不足（如部分国家缺少2022、2023年gdp值）引发的“cannot set a row with mismatched columns”错误，避免程序中断，并确保数据完整性与可扩展性。

本文介绍两种可靠方案解决爬取表格时因行数据列数不足（如部分国家缺少2022、2023年gdp值）引发的“cannot set a row with mismatched columns”错误，避免程序中断，并确保数据完整性与可扩展性。

在使用 pandas 动态构建 DataFrame 时（尤其在网页爬虫场景中），常见问题之一是：源 HTML 表格存在不完整行（如阿尔巴尼亚仅含2020、2021年数据，缺失2022、2023年），而代码却强行将长度为2的列表赋值给预设4列的 DataFrame，触发 ValueError: cannot set a row with mismatched columns。

关键误区在于：逐行使用 df.loc[len(df)] = ... 追加数据不仅低效，更在列数不匹配时直接报错，且无法灵活容错。正确做法是先收集清洗后的行数据，再一次性构造 DataFrame。以下是两种生产环境推荐策略：

✅ 方案一：严格过滤 —— 仅保留完整年份数据

适用于对数据完整性要求高、缺失即丢弃的场景（如统计分析需全周期对比）：

import pandas as pdyears = ['2020', '2021', '2022', '2023']rows_clean = []for row in GDP_2020[1:]:  # 跳过表头    cells = row.find_all('td')    row_values = [cell.text.strip() for cell in cells]    # 仅保留恰好包含4个年份数据的行    if len(row_values) == len(years):        rows_clean.append(row_values)GDP = pd.DataFrame(rows_clean, columns=years)

✅ 方案二：智能补全 —— 缺失值填充为 NaN

更常用且鲁棒性强，尤其当缺失集中在末尾年份（如仅缺2022/2023）时，能最大化保留有效观测：

import pandas as pdimport numpy as npyears = ['2020', '2021', '2022', '2023']col_count = len(years)rows_filled = []for row in GDP_2020[1:]:    cells = row.find_all('td')    row_values = [cell.text.strip() for cell in cells]    # 补齐至4列：末尾用 NaN 填充（假设缺失为右对齐）    padded_row = row_values + [np.nan] * (col_count - len(row_values))    rows_filled.append(padded_row)GDP = pd.DataFrame(rows_filled, columns=years)

⚠️ 重要说明：方案二默认缺失年份位于序列右侧（如 ['15,192', '17,984'] → ['15,192', '17,984', NaN, NaN]）。若出现非连续缺失（如仅有2020、2022年数据），需结合 <th> 标签或列标题定位具体年份，再映射填充——建议解析时同步提取 <tr> 中的 <th> 或利用 pandas.read_html() 自动对齐列名。