Pandas 中按条件分组并实现跨 False 边界的前向或后向填充

本文介绍如何在 pandas 中将 true 连续段与其后紧跟的 false（作为组边界）合并为逻辑组，并对每组内 value 列执行前向+后向填充（或仅取首个有效值），高效替代手动切片拼接。

本文介绍如何在 pandas 中将 true 连续段与其后紧跟的 false（作为组边界）合并为逻辑组，并对每组内 value 列执行前向+后向填充（或仅取首个有效值），高效替代手动切片拼接。

在实际数据处理中，常需基于布尔序列定义“逻辑组”——例如将 True 的连续 streak 与紧随其后的 False 视为同一组（该 False 不是中断，而是组的终点）。此时标准 groupby(df['condition']) 无法满足需求，因其会将所有 False 归为一类。正确做法是构造一个能反映“以 False 结尾的 True 组”的分组标识。

核心思路是：利用 shift() + cumsum() 构建组 ID，并通过 where().ffill() 将 False 行归属到前一组。具体步骤如下：

1. 生成动态组标签：

   group_id = df['condition'].shift().eq(False).cumsum().where(df['condition']).ffill()

   • df['condition'].shift() 将条件列下移一行，使每个 False 的位置对应其前一组的“结束信号”；
   • .eq(False) 转为布尔标记（原 False 对应 True）；
   • .cumsum() 累计求和生成递增组号；
   • .where(df['condition']) 仅保留 True 行的组号，False 行变 NaN；
   • .ffill() 向下填充，使每个 False 继承前一组的 ID —— 实现“True streak + 后续 False”归为同组。

2. 按组填充：
   若每组最多一个非空值（如示例），推荐简洁高效的 transform('first')：

   df['value'] = df.groupby(group_id)['value'].transform('first')

   它自动提取每组首个非 NaN 值，并广播至全组（含 False 行）。

3. 通用填充方案（支持多有效值）：
   若组内存在多个非空值且需双向填充（先 ffill 再 bfill），使用：

   df['value'] = (df.groupby(group_id)['value']               .apply(lambda x: x.ffill().bfill())               .droplevel(0))  # 移除多余层级索引

✅ 注意事项：

• group_id 构造依赖 shift()，首行因 shift() 变为 NaN，但 .where().ffill() 会将其与首个 True 组对齐，无需额外处理；
• transform('first') 是向量化操作，性能优于 apply，强烈推荐用于单值填充场景；
• 若 condition 首行为 False，需根据业务逻辑决定是否单独成组（当前逻辑会将其归入 NaN 组，可加 fillna(0) 预处理）；
• 所有操作均原地更新 df['value']，无需重建 DataFrame。

该方法避免了低效的循环切分与 concat，充分利用 Pandas 的分组聚合能力，兼具可读性与执行效率，适用于日志分析、状态序列补全等典型场景。