如何利用访问日志中的$connection计数器离线绘制全网并发长连接生命周期图谱

$connection 不足以刻画生命周期——它是仅记录总数的瞬时计数器，无时间戳、IP、协议等上下文，高频采样仅得宏观水位折线，无法支撑连接粒度的生命周期建模。

直接用 $connection 计数器离线绘制全网并发长连接生命周期图谱不可行——$connection 是 Nginx 内部瞬时计数器，仅反映当前活跃连接总数，不记录单个连接的建立时间、持续时长、关闭原因或客户端维度信息，无法支撑“生命周期”建模。

为什么 $connection 不足以刻画生命周期

$connection 是一个全局原子计数器，每有新连接接入加 1，连接关闭减 1。它只有单一数值，没有时间戳、IP、协议类型、SSL 状态、请求路径等上下文。即便高频采样（如每秒记录一次），也只能得到一条“并发连接数随时间变化”的折线，属于宏观水位图，而非连接粒度的生命周期图谱。

真正需要采集的关键字段

要构建连接生命周期图谱，需在日志中显式记录每个长连接的起止事件。推荐在 Nginx 中启用 log_format 并嵌入以下变量：

• $connection_requests：该连接处理过的请求数（辅助判断是否空闲或复用）
• $time_iso8601：请求时间（用于近似连接建立时间，首次请求即视为 connect）
• $request_time：当前请求耗时（结合 keepalive 可推断连接活跃区间）
• $upstream_http_connection 或自定义 header（如 X-Conn-ID）：为每个 TCP 连接分配唯一 ID（需 Lua 或 proxy protocol 配合）
• $status 和 $bytes_sent：配合 close 事件识别连接终止（如返回 0 字节且无后续请求）

离线构建生命周期图谱的可行路径

不依赖 $connection，而是基于带连接标识的访问日志做关联分析：

• 用 Lua 或 OpenResty 在连接建立时生成 ConnID，并写入共享字典；每次请求携带该 ID 到日志
• 对日志按 ConnID 分组，提取首条和末条记录的时间戳，计算持续时长
• 结合 $connection_requests 判断是否为 HTTP/2 多路复用连接，或 HTTP/1.1 keepalive 复用连接
• 用 Parquet + Spark 或 DuckDB 聚合：横轴为连接持续时长（分桶），纵轴为连接数，颜色映射客户端地域/设备类型/ TLS 版本
• 叠加 $connection 的采样序列，验证图谱与全局水位的一致性（例如长连接峰值是否对应 $connection 高峰）

轻量级替代方案（无侵入改造）

若无法修改 Nginx 日志格式，可借助被动流量镜像 + eBPF 抓包：

• 用 tcpreplay 回放 PCAP，用 bpftrace 统计每个五元组的 SYN/SYN-ACK/FIN-RST 时间间隔
• 导出连接元数据（src_ip:port, dst_ip:port, duration, retrans, rtt_min/max）为 CSV
• 用 Python pandas + matplotlib 按 duration 分布、存活时段热力图、中断原因占比三维度绘图