摘要：免费的文本去重工具，按行去重，支持大小写敏感、去空白、保留首次/末次顺序，本地运行无需注册。
本地工具可在 DevTools → Network 搜索输入内容，通常不会出现在请求中。
使用指南
数据库导出清单、爬虫链接、合并多份 CSV 后的行——重复无处不在。本工具逐行去重：可忽略大小写/首尾空白、折叠中间空白、Unicode NFC 归一、保留首次或末次、按字母或频次排序，并可输出带次数的 TSV，全程本地。
1. 怎么用
粘贴一行一条的文本，选择归一与保留策略，查看唯一行与移除数量，需要时导出含次数的结果。先明确「什么叫同一条」再开选项。
- 粘贴行文本。
- 选择归一与保留策略。
- 复制结果或带次数 TSV。
2. 去重不等于清洗
去重只解决完全/近似同一行，不修错别字、不补字段。脏数据应先替换或空白处理，再去重，否则近似重复会漏网。
- 先规范化再去重。
- 定义业务唯一键。
- 次数统计用于找脏源。
3. 精确匹配局限
默认按整行比较。行内多字段时，应用表格工具按列去重，或先抽出关键列。NFC 归一可抓住「看起来一样」的重音字母差异。
4. 保留首次还是末次
日志合并常留末次；名单合并常留首次。选错会悄悄丢掉你想要的那条——用次数视图抽查冲突行。
5. 排序模式
保持原序利于对照；字母序利于人工扫；按频次可发现刷屏或异常热行。按目的选，不要为「好看」打乱审计顺序。
6. 性能与隐私
超大名单可能卡顿，可分段。名单常含邮箱手机——本地处理是优势，结果文件同样要按敏感数据保管。
常见问题
安全。去重全程在你的浏览器里完成，内容不会经过任何服务器；只是导出的结果文件里仍是这些敏感信息，请与原名单一样妥善保管。
按行去重，可忽略大小写、忽略首尾空白、折叠中间空白、做 Unicode NFC 归一化，保留首次或末次出现，按原序、字母序或出现次数排序，显示重复次数，并可导出 txt 或带次数的 TSV。
看来源：日志合并常留末次（最新状态），名单合并常留首次（最早记录）。选错会悄悄丢掉想要的那条，先用次数视图抽查冲突行，再定保留策略。
不能。去重只处理判定为「同一条」的行，不修错别字、不补字段。先做规范化（大小写、空白）并明确业务上的唯一键，再去重；重复次数统计还能反过来帮你定位脏数据源头。
本工具默认按整行精确比较。多字段的数据行应改用表格类工具按列去重，或先抽出关键列再来；NFC 归一化则能抓出「看起来一样」的重音字母差异。
会。默认按保留策略维持输入的相对顺序，便于前后对照；也可切换为字母序方便人工扫读，或按出现次数排序——异常高频的行往往就是刷屏或脏源所在。
相关工具
相关文章
在线文本去重工具：移除重复行和重复内容
学习如何移除文本中的重复内容。了解行去重、大小写/空白归一、保留首次或末次、统计重复次数与导出，以及在数据清洗中的应用。
Hydration failed / Text content does not match 报错怎么解决？
Next.js/React SSR 最常见的水合报错完整指南：为什么服务端和客户端渲染不一致、时间戳/随机值/localStorage 三大来源、suppressHydrationWarning 的正确用法，配本站工具定位差异。
文本提取工具：从杂乱文本中快速提取有用信息
从日志、网页源码与留言里提取邮箱、手机号、URL、IP 与数字；支持去 HTML、合并空白与去重，本地完成不上传。