把需要整理的文本粘贴到上面的输入框里(一行一条),按需要勾选选项,点「开始处理」即可。工具会逐行扫描全文,相同的内容只保留第一次出现的那一行,其余重复行全部删掉,处理结果出现在下方,点「复制结果」或「下载为 .txt」就能拿走。所有处理都在你自己的浏览器里完成,文本不会上传到任何服务器,关掉页面就什么都不留。
几个选项分别管什么:「去除首尾空格」会把每行开头和结尾的空格、制表符先抹掉再比对,适合处理从表格或网页上复制下来、行尾常带空格的文本;「删除空行」默认开启,不勾的话空行也会参与去重(只保留一个空行);「结果排序」把处理完的行按拼音和字母顺序重新排列;「忽略大小写」把 Apple 和 apple 视为同一行,保留第一次出现的写法。
多半是行尾藏着看不见的空格或制表符。勾上「去除首尾空格」再处理一次即可。如果是英文内容,还可能是大小写不同,勾选「忽略大小写」可以合并。
处理在本地浏览器里进行,几万行也没有问题;几十万行的大文件可能会让页面短暂卡顿,建议分批处理,或者先用「下载为 .txt」保存中间结果。
先按勾选的选项逐行清理(去空格、判空行),再按清理后的内容判重,最后按需要排序。所以统计行里的「删去重复」是清理之后真正重复的行数。