C++中如何实现字符串的按行快速去重处理

作者：袖梨 2026-06-23

std::set直接存std::string不适合按行去重，因换行符处理不一致（如getline剥离n而>>不剥离）及空行/空白行语义模糊；应先用find_first/last_not_of清洗首尾空白（含r），再用unordered_set去重并配合vector保序。

为什么 `std::set` 直接存 `std::string` 不适合按行去重？

因为文件读入的每行通常带换行符（"n" 或 "rn"），而不同平台、不同读取方式（std::getline vs fgets）对换行符的处理不一致。直接丢进 std::set 会导致看似相同的两行被当作不同字符串——比如 "hellon" 和 "hello"（getline 自动剥离了 n，但若用 std::cin >> 就不会）。更麻烦的是，如果原始数据含空行或全空白行，它们也参与比较，但用户往往希望“逻辑空行”视为相同。

怎么用 `std::unordered_set` 配合规范化处理？

核心是统一清洗：先去除行首尾空白（包括 r），再判断是否为空。这样能兼容 Windows/Linux 换行差异，也避免空格干扰去重。

std::getline 是首选，它自动剥离 n（或 rn），返回不含换行符的字符串
用 std::string::find_first_not_of(" trn") 和 find_last_not_of 截取有效内容；全空白则得到空串
把清洗后的字符串插入 std::unordered_set<:string></:string>，O(1) 平均插入/查找，比 std::set 快
若需保持原始输入顺序输出去重结果，额外用 std::vector 记录首次出现的行（配合 unordered_set::insert 的返回值判断）

示例关键片段：

std::unordered_set<std::string> seen;std::vector<std::string> unique_lines;<p>std::string line;while (std::getline(std::cin, line)) {// 去首尾空白（含 r）auto start = line.find_first_not_of(" trn");if (start == std::string::npos) continue; // 空行跳过auto end = line.find_last_not_of(" trn");std::string clean = line.substr(start, end - start + 1);</p><pre class='brush:php;toolbar:false;'>if (seen.insert(clean).second) { // .second 为 true 表示新插入    unique_lines.push_back(std::move(clean));}

}

立即学习“C++免费学习笔记（深入）”；

大文件下内存和性能怎么控？

纯内存方案在几百 MB 级文本上就容易爆内存（每个 std::string 有小开销，unordered_set 负载因子高时会 realloc）。真正快速的“按行去重”必须考虑外排或流式哈希。

若只要去重后行数，不用保留内容：用 std::unordered_set 存 std::string_view（C++17），但注意生命周期——必须确保源缓冲区不释放（比如整行读到 std::string 再转 view）
超大文件（GB 级）：改用分块读 + SHA256 哈希（std::hash 对长字符串碰撞率偏高，不推荐），哈希值存 std::unordered_set<uint64_t> 节省内存
极端场景（内存极紧）：用 Bloom Filter 预过滤，再落盘比对；但会引入误判，仅适用于允许少量漏重的场景

Windows 下读取文本文件时的 `r` 坑怎么绕？

用 std::ifstream 默认以文本模式打开，Windows 下会自动将 rn 转成单个 n，所以 getline 返回的字符串不含 r。但如果你用二进制模式（std::ios::binary）读，或从管道/网络接收数据，r 就可能残留——此时清洗步骤里必须显式剔除 r，不能只靠 getline。