如何删除文本中的重复行而不破坏数据

重复几乎从来不是有人故意把同一条录了两遍，而是合并的产物。相隔一个月导出的两份表格，大部分行是重合的，把它们一上一下拼接起来，列表就悄无声息地翻了倍。允许访客重复提交的注册表单，每次都会新建一条记录而不是更新旧的。从邮件会话里复制粘贴地址时，同一个人会从收件人行被抓一次、又从抄送行被抓一次，直到列表被导入某个系统之前都没人发现。

导出的日志是另一个常见来源，因为一次用户会话就可能产生几十行完全相同的事件记录。从多个研究工具里拉取的关键词列表天然高度重叠，毕竟那些显而易见的头部词在每个来源里都会出现。把这些重复留着不管，代价非常具体：客户收到重复发送，统计数字虚报了你实际持有的唯一记录数，导入还可能在中途撞上唯一性约束而失败，留给你一张写了一半的表去善后。

第一个要做的决定是：「Apple」和「apple」算不算同一行。把它们当作不同行，就是区分大小写的去重，只有完全一致的重复才会被删除；把它们当作同一行，就是不区分大小写的比较，先统一大小写再匹配。同样的输入，这两种设置得出的行数可能相差不少。

对邮箱地址、用户名、城市名和产品标题，一般应选不区分大小写，因为它们本来就是同一个东西的不同写法，而且邮箱服务商在实践中也会忽略本地部分的大小写。对产品编码、SKU、base64 字符串、哈希值、令牌和密码，则必须区分大小写，因为单个字母的大小写承载着真实含义，混为一谈会悄悄抹掉你所依赖的区别。拿不准数据属于哪一类时，先抽查一下那些「近似匹配」的样本，再决定用哪种设置。

去重工具通常提供两种输出模式。「保留首次出现顺序」会让每个存活的行留在它原本的位置——只要顺序本身承载信息而非随意为之，这一点就至关重要。按搜索量排好序的关键词列表、排行榜、优先级队列、按时间排列的日志：把它们按字母排序，等于丢弃你辛苦建立的排序，而且结果看起来依然「像模像样」，你可能根本注意不到。

如果你打算把清理后的列表和另一份做对比，或者原始顺序本来就是随意的、按字母排好反而更方便人工浏览，那就选择排序输出。在清理数据之前先想清楚要哪种。重复行一旦被删掉，你再也无法还原它们原来的位置，所以对有序列表误加一次排序，没有原始文件就救不回来。

两行文字在屏幕上显示得一模一样，比较起来却可能不相等。邮箱地址后面多出的一个空格、从 Excel 粘贴时带上的一个制表符、从网页复制进来的不换行空格、Windows 格式文件里混入的多余回车——任何一种都会让两个值在字符层面上不相等，尽管可见文本完全一致。

比较之前先去除首尾空白，能抓住原本会漏掉的重复；输出结果也值得一并清理，因为干净的列表不该把看不见的填充字符带进你的下一次导入。同样的道理也适用于空行：粘贴内容中间的空行和其他行一样算一行，所以多数工具要么把连续的多个空行合并成一个，要么直接全部删除。如果空行在你的格式里有特殊含义，先确认工具采用的是哪种行为。

粘贴列表，选好大小写、顺序和去空白这几个选项，就能拿回去重后的结果，外加一个被删除行数的统计。这个数字才是真正有用的部分：它告诉你这次清理值不值得做，也给你一个可以对照预期的数，在把输出用于下游之前先做个合理性检查。

由于处理都在浏览器标签页内完成，什么都不会上传。订阅者名单、客户导出数据、一列内部用户名或一组订单 ID，从头到尾不碰服务器——这和许多把你的内容发到远端处理的在线文本工具形成了实实在在的差别。凡是受保密协议或数据保护政策约束的内容，本地处理就不是加分项，而是硬性要求。