文本工具
工具菜单

文本去重

按行删除重复内容,保留需要的记录。 输入内容在浏览器本地处理。

支持多行内容
执行后在这里显示

选择选项后点击处理按钮,或按 Ctrl / Command + Enter。

按行删除重复内容,先确认记录边界

从表格复制名单、整理关键词、合并链接列表或检查日志时,同一行内容可能出现多次。文本去重把每一条逻辑行作为一个记录,比较完整行后保留一次,不会只根据行里的某个单词判断相同。将内容粘贴进输入框,确认保留规则、大小写与空白选项,再点击开始去重,就能在另一侧预览结果。原文与结果分开显示,方便核对究竟删除了哪些重复项。

如果一条记录本身包含多行,例如详细地址、引用段落或带换行的表格单元格,按行处理就可能拆开记录。此时应先转换为每条记录一行的格式,再执行去重。工具并不是 CSV 解析器,也不识别逗号内的字段或引号中的换行。手机上的自动折行只是显示效果,不会形成新记录;真正的回车换行会被统一为换行。空文本没有记录,末尾换行可能形成额外空行,可通过忽略空行处理。

如果重复行代表发生次数,例如同一商品的多笔购买或同一事件的多次记录,删除它们可能失去数量信息。本工具适合建立唯一条目清单,不适合代替求和或频次分析。遇到这种需求,应先保留原始明细,再在能记录计数的表格中汇总。页面显示的删除数量是处理过程的文本比较结果,不能据此认定原始记录属于错误数据。

保留第一次与最后一次出现有什么区别?

默认保留第一次出现,并让保留下来的行维持原来的先后顺序。输入 a、b、a、c、b 时,结果依次是 a、b、c。如果选择保留最后一次,则保留下来的最后记录仍按它们在原文中的位置排列,结果是 a、c、b。它不会先对全文排序,也不会把最后一次出现的记录倒序输出。这个差别适合整理更新记录,或在合并列表时明确哪一条来源应优先保留。

保留规则仅在比较键相同的行之间起作用,不会读取日期、版本或“最新”标记自动挑选。若两行正文不同,就算属于同一个人或同一条链接,也会分别保留。需要按某一列识别唯一记录,应先提取该列或使用能理解结构的表格工具。当开启忽略大小写并关闭首尾清理时,保留的原始写法由首次或末次选项决定,工具不会把所有内容强制转换成小写。

大小写与首尾空白怎样影响判断?

默认区分大小写,因此 Alice 与 alice 是不同记录。关闭区分大小写后,会使用标准小写转换建立比较键,但输出仍保留所选记录的写法。这个模式适合整理不区分大小写的名称或普通关键词;对于路径、口令、产品标识以及可能区分大小写的邮箱本地部分,应谨慎选择。工具不理解具体业务含义,是否把两个拼写视为同一个对象,需要由你决定。

首尾清理默认开启,会对每行使用标准空白裁剪,并输出裁剪后的行。因此“ 张三 ”与“张三”可以合并,而句子内部的普通空格仍然保留。全角空格、制表符和不换行空格出现在行首行尾时,也可能被裁剪。关闭这一选项后,边界空白参与比较并原样保留。工具不会执行 Unicode 规范化,所以外观相同但编码形式不同的组合字符可能仍被视为不同文本。

空行与统计数字应该怎样核对?

忽略空行默认开启,判断时使用空白裁剪后的内容,因此只含空格或制表符的行也会跳过。关闭该选项后,空行可以作为一条记录参与去重;若首尾清理同时关闭,只有空白内容但写法不同的行可能分别保留。结果区域显示原始行数、有效行数、去重后行数、删除重复数量和忽略空行数。删除重复数量只计算有效记录之间的重复,不把已经忽略的空行算作重复。

例如原文有十行,其中两行为空,八条有效记录中有三条重复,那么去重后保留五条,删除重复数量为三,忽略空行为二。这样的分开统计能避免把空白清理误认为记录丢失。结果仍是普通文本,每条记录用一个换行分开,不会附加编号或逗号。需要继续排序时,可以复制到文本排序工具;若原始顺序有业务意义,应先保存去重结果,再尝试其他处理。

整理大名单时怎样保留可检查的结果?

建议先用少量具有代表性的行确认选项,例如相同名字、不同大小写、边界空格和空记录,再处理完整名单。复制原文可以保留来源,复制结果适合粘贴回表格的一列,下载文本文件则便于留存当前处理结果。页面不会自动生成历史版本,也不能在刷新后恢复输入。涉及成员名单、账号和联系方式时,应核对你实际需要保留的字段,不要因为文本相同就推断它们对应同一实体。

去重使用集合记录已见的比较键,处理在浏览器后台线程中完成,不把名单发送给应用后端。超过五兆字节会显示较大文本提示,而不是按这个值直接拒绝输入。内存仍随行数和内容长度增加,超大名单可分批处理,但批次间的重复需要再次汇总检查。结果下载由本机浏览器生成,剪贴板与文件保存位置由你控制;本机共享环境和浏览器扩展也属于需要自行考虑的使用条件。

常见问题

去重后会自动排序吗?

不会。保留下来的记录维持它们在原文中的相对顺序,排序需要另行使用文本排序工具。

保留最后一次会倒序输出吗?

不会。例如 a、b、a、c、b 会保留为 a、c、b,按最后记录的原始位置排列。

删除重复数量包含空行吗?

开启忽略空行时不包含。页面分别显示重复数量和忽略空行数,便于核对。

两行首尾有空格会视为相同吗?

默认首尾清理开启,会裁剪后比较并输出;关闭后,首尾空白参与判断。

能按表格中的某一列去重吗?

本工具比较整行,不解析 CSV 字段。可以先提取目标列,或使用支持表格结构的工具。