批量TXT去重工具使用说明：单独去重或合并去重，支持忽略空行/忽略大小写/遍历子目录/保持目录结构/编码检测

【批量TXT去重工具】用于批量处理 TXT 文件的按行去重与合并输出适合名单清洗、关键词整理、链接去重、日志行去重、素材文案去重等场景。支持拖拽输入、遍历子目录、保持原路径结构、多线程并行处理并提供详细统计。一、支持的输入方式1选择源文件/文件夹点击“浏览”选择单个 TXT 文件或文件夹支持直接拖拽文件/文件夹到输入框2遍历子目录勾选后可处理所有子文件夹中的 TXT 文件3保持原路径结构勾选后输出会保留源文件的目录层级适合多项目、多目录资料便于核对与回退二、两种处理模式核心模式A单独保存每个文件分别去重适用场景你希望保留每个原始文件的边界只对每个文件内部去重。特点处理速度快、输出结构清晰、便于逐文件核对。模式B合并保存合并成一个文件适用场景你希望把所有 TXT 合并成一个总清单方便导入系统或统一分发。可选项勾选“合并后再次去重”在合并阶段对总内容再做一次整体去重输出更干净。输出文件名默认去重后合并ALL.txt可自定义。三、去重选项1忽略空行勾选后去重时不保留空行输出更干净。2忽略大小写勾选后不区分大小写去重例如 A 与 a 视为重复行。四、性能设置并行线程数用于多线程并行处理单独保存模式尤为明显线程越多通常越快但更占用 CPU/内存常见办公电脑建议 4–8 线程即可五、编码处理避免乱码工具支持自动检测文件编码需安装 chardet常见 utf-8 / gbk / gb2312 / gb18030 等编码可自动识别并读取未安装 chardet 时默认按 UTF-8 读取会在界面提示你安装方式pip install chardet输出统一为 UTF-8 编码便于后续跨平台使用与导入。六、推荐操作流程更稳步骤1选择源文件夹与保存目录步骤2按需勾选遍历子目录/保持原路径结构步骤3选择处理模式单独保存或合并保存步骤4按需勾选忽略空行/忽略大小写步骤5设置并行线程数步骤6点击“开始处理”观察进度条与日志步骤7处理完成后查看统计原始行数、去重后行数、去除行数、去重比例七、常见问题1输出结果看起来“少了很多行”检查是否勾选了“忽略大小写”“忽略空行”以及是否开启了“合并后再次去重”。2部分文件没被处理到检查源路径是否选择正确TXT 是否在子目录中必要时勾选遍历子目录。3出现乱码安装 chardet 并重试或先确认源文件编码输出统一为 UTF-8 更利于后续处理。