大数据-TXT文本重复行计数工具
支持系统类型：Windows 64位系统 Linux 64位系统 苹果64位系统
硬盘要求：固态硬盘（有效剩余磁盘空间大小最低3倍于大数据文件的大小）
内存要求：最低8G（例如只有几百G数据） 如果处理TB级大数据文件最低需32G内存
大数据格式：M行1列 或M行N列 作者QQ：24759362
初次使用建议完全模仿截图里出现的文件夹和空记事本文件命名，日常使用时可以根据自己的喜好命名文件夹和空记事本文件
范例测试数据1：D:\testBigDataFile\test1BigData.txt
1000
1001
1001
1002
1003
1004
1004
1005
1006
1007
1007
1008
1009
1010
1011
1011
1012
1013
1013
1013
1013
1014
1014
1015
1016
1017
1017
1018
1019
1020
1021
1021
1022
1023
1023
1023
1023
1024
1024
1025
1026
1027
1027
1028
1029
1030
1031
1032
1033
1033
1033
1033
1034
1035
1036
1037
1038
1039
1040
1041
1042
1043
1043
1043
1043
1044
1045
1046
1047
1048
1049
1050
1051
1051
1052
1053
1054
1054
1055
1056
1057
1057
1058
1059
1060
1061
1062
1063
1063
1063
1063
1064
1065
1066
1067
1068
1069
1070
1071
1071
1072
1073
1073
1073
1073
1074
1074
1075
1076
1077
1077
1078
1079
1080
1081
1082
1083
1083
1083
1083
1084
1085
1086
1087
1088
1089
1090
1091
1092
1093
1093
1093
1093
1094
1095
1096
1097
1098
1099
2000
运行输出结果如下：
D:\resultBigDataFile\result1BigData.txt
1011
1077
1021
1054
1074
1051
1071
1007
1017
1027
1004
1014
1024
1057
1001
如果上面范例测试数据1运行后想输出如下结果：请勾选“显示输入重复次数”
1011 1
1077 1
1021 1
1054 1
1074 1
1051 1
1071 1
1007 1
1017 1
1027 1
1004 1
1014 1
1024 1
1057 1
1001 1
范例测试数据2：D:\testBigDataFile\test2BigData.txt
Alan 436628269
Alan 436628269
Alan 436628269
Bill 611492701
Cana 1397118521
Dunn 2444556928
Connor 1998963357
Emma 2206666209
Gina 777284571
Gina 777284571
Gina 777284571
Gina 777284571
Ivin 970322252
Jack 1262597716
Jane 578355382
July 136208476
Lily 433285072
Onan 371221381
Owen 1266462145
Peni 130864920
Rynn 2480931452
Rynn 2480931452
Rynn 2480931452
Rynn 2480931452
Rynn 2480931452
Rynn 2480931452
Sims 921827919
Tina 2561855784
Tony 2084111552
Voni 2587044445
Waco 423088657
Aidan 2010046647
Alvin 468664591
Anita 1956739105
Becky 1363871905
Becky 1363871905
Becky 1363871905
Becky 1363871905
Bowen 234135199
Casey 1548163632
Cathy 678234228
Chloe 1381166262
Dwana 2282473415
Edith 1967993078
Edith 1967993078
Elman 1560665871
Ethan 2267535885
Fiona 604587235
Haley 800961135
Jones 2344119816
Jones 2344119816
Joyce 1344843140
Kelly 2122606210
Kevin 1717469490
Laure 736740442
Mulki 566237493
Najma 2419841329
Najma 2419841329
Najma 2419841329
Randy 1502861227
Ricka 236260413
Rizza 1535082737
Robrt 196943032
Shawn 851297787
Susan 334018114
Tejah 676974423
Tejah 676974423
Tejah 676974423
Tejah 676974423
Tejah 676974423
Tejah 676974423
Tejah 676974423
Tejah 676974423
Tejah 676974423
Wasim 524075634
Water 90008183
Wendy 1164084217
Yilia 1466222253
Aazeen 1012146857
Anikah 443308821
Bladen 731124027
Brooke 92025515
Brynda 1110273669
Carlos 2196254518
Dillon 520140680
Easter 2712179738
Fallyn 1383225641
Hammad 705756913
Hammad 705756913
Hammad 705756913
Hammad 705756913
Hammad 705756913
Hinson 149640852
Hinson 149640852
Hinson 149640852
Jackie 176340867
Johnny 888922082
Lauren 2414296053
Lunell 913395291
Madlin 1781194530
Martin 636062663
Nyonna 1422469714
Polina 2122873196
Pruitt 314428860
Quavon 689418797
Quavon 689418797
Sallie 800910135
Selina 1232437171
Sumiye 628112094
Summer 2278440448
Uniyah 1115416023
Vaiden 620408210
Winter 2695510343
Yasmen 961534555
Yoland 1291468531
Yusuke 2619560595
Abraham 2578725567
Addison 1332247227
Anthony 544174558
Bartley 1153366461
Blanche 101955333
Bullman 1529760215
Camille 1092452082
Charles 1664580393
Connor 2117335737
Crystal 1042531868
Destiny 1659408747
Hartlyn 2192622982
Jenicia 275384039
Lovinia 779964794
Madilee 400032052
Nicolle 559240963
Noython 2106815835
Quintin 2314360024
Ricayla 2347843740
Severin 1824633312
Solomon 606320831
Tanecia 1419387413
Tiffine 2033116728
Vallene 1492277709
运行输出结果如下：
D:\resultBigDataFile\result2BigData.txt
Edith 1967993078 1
Najma 2419841329 2
Gina 777284571 3
Hinson 149640852 2
Alan 436628269 2
Hammad 705756913 4
Rynn 2480931452 5
Becky 1363871905 3
Jones 2344119816 1
Tejah 676974423 8
Quavon 689418797 1
相关文章：
大数据-TXT文本重复行计数工具
支持系统类型：Windows 64位系统 Linux 64位系统 苹果64位系统 硬盘要求：固态硬盘（有效剩余磁盘空间大小最低3倍于大数据文件的大小） 内存要求：最低8G（例如只有几百G数据） 如果处理TB级大数据文…...
【无标题】331
2024年3月31日19:26:09 和一个好感度为40的女生完成了一次基础的对话 2024年3月31日19:26:26 在群里完成了一个毫无所谓的对话 2024年3月31日19:40:04开始准备写论文了 2024年3月31日19:40:11好感度为40的女生回复了我本质上是回复率只有40的人回复了我那应该感到高兴才对 …...
MIT最新研究成果 机器人能够从错误中纠偏 无需编程介入和重复演示
目前科学家们正在努力让机器人变得更加智能，教会他们完成诸如擦拭桌面，端盘子等复杂技能。以往机器人要在非结构化环境执行这样的任务，需要依靠固定编程进行，缺乏场景通用性，而现在机器人的学习过程主要在于模仿&#…...
C语言—指针数组
从键盘任意输入一个整型表示的月份值，用指针数组编程输出该月份的英文表示，若输入的月份值不在1～12之间，则输出“Illegal month”。 **输入格式要求："%d" 提示信息："Input month number:&q…...
OpenCV图像二值化
1.二值图像 灰度图像 0 - 255二值图像 0（黑） / 255（白） 2.二值分割 五种阈值分割方法（阈值T）： 大于T为255，小于T为0 大于T为0，小于T为255 小于T为原值 else T 小于…...
java中的抽象类
抽象类是指包含了抽象方法的类。在java中，抽象方法指的是用abstract关键字进行修饰的方法，抽象方法与普通的方法的最大区别就是抽象方法没有方法体，也就是说抽象方法是没有具体的实现的。这也就意味着在抽象类的子类中调用抽象方法时…...
代码随想录算法训练营第二十天| 654.最大二叉树、617.合并二叉树、700.二叉搜索树中的搜索、98.验证二叉搜索树
系列文章目录 目录 系列文章目录654.最大二叉树递归法[左闭右开)[左闭右闭] 617.合并二叉树递归法（前中后序都可，以前序为例）迭代法（类似 101. 对称二叉树 写法，可用双端队列/单端队列<栈>，以单端队列…...
2014年认证杯SPSSPRO杯数学建模A题(第二阶段)轮胎的花纹全过程文档及程序
2014年认证杯SPSSPRO杯数学建模 A题 轮胎的花纹 原题再现： 轮胎被广泛使用在多种陆地交通工具上。根据性能的需要，轮胎表面常会加工出不同形状的花纹。在设计轮胎时，往往要针对其使用环境，设计出相应的花纹形状。 第二阶段问…...
C#全新一代医院手术麻醉系统围术期全流程源码
目录 一、麻醉学科的起源 二、麻醉前访视与评估记录单 患者基本信息 临床诊断 患者重要器官功能及疾病情况 病人体格情况分级 手术麻醉风险评估 拟施麻醉方法及辅助措施 其他需要说明的情况 访视麻醉医师签名 访视时间 与麻醉相关的检查结果 三、手术麻醉信息系统…...
Python 神器：一键下载 M3U8 并转换为 MP4
在这个数字时代，我们经常在网页上遇到各种精彩的视频，但往往只能观看而无法下载。今天，我将向大家介绍如何使用 Python 自动下载网页中的 M3U8 链接，并将其转换为 MP4 格式，让你轻松保存喜欢的视频！ 一、准…...
vue3全局控制Element plus所有组件的文字大小
项目框架vue-右上角有控制全文的文字大小 实现： 只能控制element组件的文字及输入框等大小变化，如果是自行添加div,text, span之类的控制不了。 配置流程 APP.vue 使用element的provide，包含app <el-config-provider :locale"loca…...
区间预测 | Matlab实现带有置信区间的BP神经网络时间序列未来趋势预测
区间预测 | Matlab实现带有置信区间的BP神经网络时间序列未来趋势预测 目录 区间预测 | Matlab实现带有置信区间的BP神经网络时间序列未来趋势预测预测效果基本介绍研究回顾程序设计参考资料预测效果 基本介绍 BP神经网络（Backpropagation neural network）是一种常用的人工神…...
Matlab中的脚本和函数
Matlab中的脚本和函数 文章目录 Matlab中的脚本和函数脚本创建脚本代码注释函数创建函数局部函数嵌套函数私有函数匿名函数补充知识函数句柄测试环境：Win11 + Matlab R2021a 脚本 Matlab脚本是最简单的程序文件类型。它们可用于自动执行一系列 Matlab 命令，如命令行重复执…...
使用 nohup java - jar 不输出nohup日志
使用 nohup 命令来运行 Java 程序，并且不让输出写入 nohup.out 文件，可以使用重定向操作符 > 将标准输出重定向到 /dev/null 文件中。这样可以将输出丢弃，而不会写入日志文件。下面是具体的命令： nohup java -jar your_progra…...
Linux系统中安装一些常用的插件备用
Linux系统中安装一些常用的插件备用 1.安装wget yum -y install wget 2.安装vim yum -y install vim-enhanced 3.更换yum源为国内的阿里云源（选择） 1、备份CentOS-Base.repo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.…...
笔记本电脑上部署LLaMA-2中文模型
尝试在macbook上部署LLaMA-2的中文模型的详细过程。 （1）环境准备 MacBook Pro(M2 Max/32G); VMware Fusion Player 版本 13.5.1 (23298085); Ubuntu 22.04.2 LTS; 给linux虚拟机分配8*core CPU 16G RAM。 我这里用的是16bit的量化模型，…...
百度云加速方法「Cheat Engine」
加速网盘下载 相信经常玩游戏的小伙伴都知道「Cheat Engine」这款游戏内存修改器，它除了能对游戏进行内存扫描、调试、反汇编 之外，还能像变速齿轮那样进行本地加速。 这款专注游戏的修改器，被大神发现竟然还能加速百度网盘资源下载…...
SOC内部集成网络MAC外设+ PHY网络芯片方案：PHY芯片基础知识
一. 简介 本文简单了解一下 "SOC内部集成网络MAC外设 PHY网络芯片方案" 这个网络硬件方案中涉及的 PHY网络芯片的基础知识。 二. PHY芯片基础知识 PHY 是 IEEE 802.3 规定的一个标准模块。 1. IEEE规定了PHY芯片的前 16个寄存器功能是一样的 前面说了…...
openGauss 6.0.0-RC1 版本正式发布！
openGauss 6.0.0-RC1版本正式上线！ openGauss 6.0.0-RC1是社区最新发布的创新版本，版本生命周期为0.5年。（创新版本命名：由原方案 XX.1.0 Preview (例：5.1.0 preview），调整为现方案 XX.0.0-RCx&…...
【JVM】关于JVM垃圾回收
文章目录 🌴死亡对象的判断算法🌸引用计数算法🌸可达性分析算法 🌳垃圾回收算法🌸标记-清除算法🌸复制算法🌸标记-整理算法🌸分代算法🌸哪些对象会进入新生代？…...
java 实现excel文件转pdf | 无水印 | 无限制
文章目录 目录 文章目录 前言 1.项目远程仓库配置 2.pom文件引入相关依赖 3.代码破解 二、Excel转PDF 1.代码实现 2.Aspose.License.xml 授权文件 总结 前言 java处理excel转pdf一直没找到什么好用的免费jar包工具，自己手写的难度，恐怕高级程序员花费一年的事件，也…...
CMake控制VS2022项目文件分组
我们可以通过 CMake 控制源文件的组织结构，使它们在 VS 解决方案资源管理器中以“组”（Filter）的形式进行分类展示。 🎯 目标 通过 CMake 脚本将 .cpp、.h 等源文件分组显示在 Visual Studio 2022 的解决方案资源管理器中。 ✅ 支持的方法汇总（共4种） 方法描述是否推荐…...
AI书签管理工具开发全记录（十九）：嵌入资源处理
1.前言 📝 在上一篇文章中，我们完成了书签的导入导出功能。本篇文章我们研究如何处理嵌入资源，方便后续将资源打包到一个可执行文件中。 2.embed介绍 🎯 Go 1.16 引入了革命性的 embed 包，彻底改变了静态资源管理的…...
微软PowerBI考试 PL300-在 Power BI 中清理、转换和加载数据
微软PowerBI考试 PL300-在 Power BI 中清理、转换和加载数据 Power Query 具有大量专门帮助您清理和准备数据以供分析的功能。 您将了解如何简化复杂模型、更改数据类型、重命名对象和透视数据。 您还将了解如何分析列，以便知晓哪些列包含有价值的数据，…...
【7色560页】职场可视化逻辑图高级数据分析PPT模版
7种色调职场工作汇报PPT，橙蓝、黑红、红蓝、蓝橙灰、浅蓝、浅绿、深蓝七种色调模版 【7色560页】职场可视化逻辑图高级数据分析PPT模版：职场可视化逻辑图分析PPT模版https://pan.quark.cn/s/78aeabbd92d1...
Aspose.PDF 限制绕过方案：Java 字节码技术实战分享（仅供学习）
Aspose.PDF 限制绕过方案：Java 字节码技术实战分享（仅供学习） 一、Aspose.PDF 简介二、说明（⚠️仅供学习与研究使用）三、技术流程总览四、准备工作1. 下载 Jar 包2. Maven 项目依赖配置 五、字节码修改实现代码&#…...
TSN交换机正在重构工业网络，PROFINET和EtherCAT会被取代吗？
在工业自动化持续演进的今天，通信网络的角色正变得愈发关键。 2025年6月6日，为期三天的华南国际工业博览会在深圳国际会展中心（宝安）圆满落幕。作为国内工业通信领域的技术型企业，光路科技（Fiberroad&…...
OD 算法题 B卷【正整数到Excel编号之间的转换】
文章目录 正整数到Excel编号之间的转换 正整数到Excel编号之间的转换 excel的列编号是这样的：a b c … z aa ab ac… az ba bb bc…yz za zb zc …zz aaa aab aac…; 分别代表以下的编号1 2 3 … 26 27 28 29… 52 53 54 55… 676 677 678 679 … 702 703 704 705;…...
wpf在image控件上快速显示内存图像
wpf在image控件上快速显示内存图像https://www.cnblogs.com/haodafeng/p/10431387.html 如果你在寻找能够快速在image控件刷新大图像（比如分辨率3000*3000的图像）的办法，尤其是想把内存中的裸数据（只有图像的数据，不包…...
【WebSocket】SpringBoot项目中使用WebSocket
1. 导入坐标 如果springboot父工程没有加入websocket的起步依赖，添加它的坐标的时候需要带上版本号。 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-websocket</artifactId> </dep…...