本文详解如何使用 pandas 将包含等长列表的列(如 val)高效展开为多列宽格式,避免 explode() + pivot() 的冗余步骤,直接通过 pd.DataFrame() 构造与索引对齐的结构化结果。
本文详解如何使用 pandas 将包含等长列表的列(如 `val`)高效展开为多列宽格式,避免 `explode()` + `pivot()` 的冗余步骤,直接通过 `pd.dataframe()` 构造与索引对齐的结构化结果。
在数据处理中,常遇到某列存储了长度一致的列表(如 [10, 11]),目标是将其“行内展开”为多个独立列(如 col_1, col_2),最终得到标准宽表结构——而非先 explode 再 pivot 这类易出错、性能低的链式操作。最简洁、高效且语义清晰的方式,是直接利用 pd.DataFrame() 构造器配合 index 和 columns 参数。
假设原始数据如下:
import pandas as pddata = [[1, [10, 11]], [2, [15, 16]], [3, [20, 24]], [4, [22, 23]]]df = pd.DataFrame(data, columns=['id', 'val'])
要将 val 列中每个列表展开为两列,并以 id 为行索引,可直接执行:
out = pd.DataFrame( df['val'].tolist(), # 展开为二维数组:[[10,11], [15,16], ...] index=df['id'], # 指定行索引为原 id 列 columns=['col_1', 'col_2'] # 显式命名新列)
输出即为理想的宽格式:
col_1 col_2id 1 10 112 15 163 20 244 22 23
⚠️ 注意:此方法要求 df['val'] 中所有列表长度严格一致;若存在不等长或缺失值(None/NaN),.tolist() 会报错或填充 NaN,需提前清洗。
当列表长度未知或可能变化时,可动态生成列名(如 col_1, col_2, col_3…):
# 自动推断列数,并命名n_cols = len(df['val'].iloc[0]) if not df.empty else 0out = (pd.DataFrame(df['val'].tolist(), index=df['id']) .rename(columns=lambda x: f'col_{x + 1}'))
或更鲁棒地结合 range:
out = (pd.DataFrame(df['val'].tolist(), index=df['id']) .rename(columns=lambda i: f'col_{i+1}') .reset_index()) # 若需将 id 变回普通列
虽然 df.explode('val').assign(col_num=df.groupby(level=0).cumcount()+1) 可生成带序号的中间表,但需额外 pivot(),且易因索引错位、重复键等问题失败。相比之下,pd.DataFrame(..., index=...) 直接绑定原始 id,天然保证行对齐,代码更短、性能更高(无分组/聚合开销)、逻辑更透明。
该方法兼具可读性、健壮性与执行效率,是 pandas 处理“列表列转宽表”任务的标准实践。