大数据-TXT文本重复行计数工具
支持系统类型：Windows 64位系统 Linux 64位系统 苹果64位系统
硬盘要求：固态硬盘（有效剩余磁盘空间大小最低3倍于大数据文件的大小）
内存要求：最低8G（例如只有几百G数据） 如果处理TB级大数据文件最低需32G内存
大数据格式：M行1列 或M行N列 作者QQ：24759362
初次使用建议完全模仿截图里出现的文件夹和空记事本文件命名，日常使用时可以根据自己的喜好命名文件夹和空记事本文件
范例测试数据1：D:\testBigDataFile\test1BigData.txt
1000
1001
1001
1002
1003
1004
1004
1005
1006
1007
1007
1008
1009
1010
1011
1011
1012
1013
1013
1013
1013
1014
1014
1015
1016
1017
1017
1018
1019
1020
1021
1021
1022
1023
1023
1023
1023
1024
1024
1025
1026
1027
1027
1028
1029
1030
1031
1032
1033
1033
1033
1033
1034
1035
1036
1037
1038
1039
1040
1041
1042
1043
1043
1043
1043
1044
1045
1046
1047
1048
1049
1050
1051
1051
1052
1053
1054
1054
1055
1056
1057
1057
1058
1059
1060
1061
1062
1063
1063
1063
1063
1064
1065
1066
1067
1068
1069
1070
1071
1071
1072
1073
1073
1073
1073
1074
1074
1075
1076
1077
1077
1078
1079
1080
1081
1082
1083
1083
1083
1083
1084
1085
1086
1087
1088
1089
1090
1091
1092
1093
1093
1093
1093
1094
1095
1096
1097
1098
1099
2000
运行输出结果如下：
D:\resultBigDataFile\result1BigData.txt
1011
1077
1021
1054
1074
1051
1071
1007
1017
1027
1004
1014
1024
1057
1001
如果上面范例测试数据1运行后想输出如下结果：请勾选“显示输入重复次数”
1011 1
1077 1
1021 1
1054 1
1074 1
1051 1
1071 1
1007 1
1017 1
1027 1
1004 1
1014 1
1024 1
1057 1
1001 1
范例测试数据2：D:\testBigDataFile\test2BigData.txt
Alan 436628269
Alan 436628269
Alan 436628269
Bill 611492701
Cana 1397118521
Dunn 2444556928
Connor 1998963357
Emma 2206666209
Gina 777284571
Gina 777284571
Gina 777284571
Gina 777284571
Ivin 970322252
Jack 1262597716
Jane 578355382
July 136208476
Lily 433285072
Onan 371221381
Owen 1266462145
Peni 130864920
Rynn 2480931452
Rynn 2480931452
Rynn 2480931452
Rynn 2480931452
Rynn 2480931452
Rynn 2480931452
Sims 921827919
Tina 2561855784
Tony 2084111552
Voni 2587044445
Waco 423088657
Aidan 2010046647
Alvin 468664591
Anita 1956739105
Becky 1363871905
Becky 1363871905
Becky 1363871905
Becky 1363871905
Bowen 234135199
Casey 1548163632
Cathy 678234228
Chloe 1381166262
Dwana 2282473415
Edith 1967993078
Edith 1967993078
Elman 1560665871
Ethan 2267535885
Fiona 604587235
Haley 800961135
Jones 2344119816
Jones 2344119816
Joyce 1344843140
Kelly 2122606210
Kevin 1717469490
Laure 736740442
Mulki 566237493
Najma 2419841329
Najma 2419841329
Najma 2419841329
Randy 1502861227
Ricka 236260413
Rizza 1535082737
Robrt 196943032
Shawn 851297787
Susan 334018114
Tejah 676974423
Tejah 676974423
Tejah 676974423
Tejah 676974423
Tejah 676974423
Tejah 676974423
Tejah 676974423
Tejah 676974423
Tejah 676974423
Wasim 524075634
Water 90008183
Wendy 1164084217
Yilia 1466222253
Aazeen 1012146857
Anikah 443308821
Bladen 731124027
Brooke 92025515
Brynda 1110273669
Carlos 2196254518
Dillon 520140680
Easter 2712179738
Fallyn 1383225641
Hammad 705756913
Hammad 705756913
Hammad 705756913
Hammad 705756913
Hammad 705756913
Hinson 149640852
Hinson 149640852
Hinson 149640852
Jackie 176340867
Johnny 888922082
Lauren 2414296053
Lunell 913395291
Madlin 1781194530
Martin 636062663
Nyonna 1422469714
Polina 2122873196
Pruitt 314428860
Quavon 689418797
Quavon 689418797
Sallie 800910135
Selina 1232437171
Sumiye 628112094
Summer 2278440448
Uniyah 1115416023
Vaiden 620408210
Winter 2695510343
Yasmen 961534555
Yoland 1291468531
Yusuke 2619560595
Abraham 2578725567
Addison 1332247227
Anthony 544174558
Bartley 1153366461
Blanche 101955333
Bullman 1529760215
Camille 1092452082
Charles 1664580393
Connor 2117335737
Crystal 1042531868
Destiny 1659408747
Hartlyn 2192622982
Jenicia 275384039
Lovinia 779964794
Madilee 400032052
Nicolle 559240963
Noython 2106815835
Quintin 2314360024
Ricayla 2347843740
Severin 1824633312
Solomon 606320831
Tanecia 1419387413
Tiffine 2033116728
Vallene 1492277709
运行输出结果如下：
D:\resultBigDataFile\result2BigData.txt
Edith 1967993078 1
Najma 2419841329 2
Gina 777284571 3
Hinson 149640852 2
Alan 436628269 2
Hammad 705756913 4
Rynn 2480931452 5
Becky 1363871905 3
Jones 2344119816 1
Tejah 676974423 8
Quavon 689418797 1
相关文章：
大数据-TXT文本重复行计数工具
支持系统类型：Windows 64位系统 Linux 64位系统 苹果64位系统 硬盘要求：固态硬盘（有效剩余磁盘空间大小最低3倍于大数据文件的大小） 内存要求：最低8G（例如只有几百G数据） 如果处理TB级大数据文…...
【无标题】331
2024年3月31日19:26:09 和一个好感度为40的女生完成了一次基础的对话 2024年3月31日19:26:26 在群里完成了一个毫无所谓的对话 2024年3月31日19:40:04开始准备写论文了 2024年3月31日19:40:11好感度为40的女生回复了我本质上是回复率只有40的人回复了我那应该感到高兴才对 …...
MIT最新研究成果 机器人能够从错误中纠偏 无需编程介入和重复演示
目前科学家们正在努力让机器人变得更加智能，教会他们完成诸如擦拭桌面，端盘子等复杂技能。以往机器人要在非结构化环境执行这样的任务，需要依靠固定编程进行，缺乏场景通用性，而现在机器人的学习过程主要在于模仿&#…...
C语言—指针数组
从键盘任意输入一个整型表示的月份值，用指针数组编程输出该月份的英文表示，若输入的月份值不在1～12之间，则输出“Illegal month”。 **输入格式要求："%d" 提示信息："Input month number:&q…...
OpenCV图像二值化
1.二值图像 灰度图像 0 - 255二值图像 0（黑） / 255（白） 2.二值分割 五种阈值分割方法（阈值T）： 大于T为255，小于T为0 大于T为0，小于T为255 小于T为原值 else T 小于…...
java中的抽象类
抽象类是指包含了抽象方法的类。在java中，抽象方法指的是用abstract关键字进行修饰的方法，抽象方法与普通的方法的最大区别就是抽象方法没有方法体，也就是说抽象方法是没有具体的实现的。这也就意味着在抽象类的子类中调用抽象方法时…...
代码随想录算法训练营第二十天| 654.最大二叉树、617.合并二叉树、700.二叉搜索树中的搜索、98.验证二叉搜索树
系列文章目录 目录 系列文章目录654.最大二叉树递归法[左闭右开)[左闭右闭] 617.合并二叉树递归法（前中后序都可，以前序为例）迭代法（类似 101. 对称二叉树 写法，可用双端队列/单端队列<栈>，以单端队列…...
2014年认证杯SPSSPRO杯数学建模A题(第二阶段)轮胎的花纹全过程文档及程序
2014年认证杯SPSSPRO杯数学建模 A题 轮胎的花纹 原题再现： 轮胎被广泛使用在多种陆地交通工具上。根据性能的需要，轮胎表面常会加工出不同形状的花纹。在设计轮胎时，往往要针对其使用环境，设计出相应的花纹形状。 第二阶段问…...
C#全新一代医院手术麻醉系统围术期全流程源码
目录 一、麻醉学科的起源 二、麻醉前访视与评估记录单 患者基本信息 临床诊断 患者重要器官功能及疾病情况 病人体格情况分级 手术麻醉风险评估 拟施麻醉方法及辅助措施 其他需要说明的情况 访视麻醉医师签名 访视时间 与麻醉相关的检查结果 三、手术麻醉信息系统…...
Python 神器：一键下载 M3U8 并转换为 MP4
在这个数字时代，我们经常在网页上遇到各种精彩的视频，但往往只能观看而无法下载。今天，我将向大家介绍如何使用 Python 自动下载网页中的 M3U8 链接，并将其转换为 MP4 格式，让你轻松保存喜欢的视频！ 一、准…...
vue3全局控制Element plus所有组件的文字大小
项目框架vue-右上角有控制全文的文字大小 实现： 只能控制element组件的文字及输入框等大小变化，如果是自行添加div,text, span之类的控制不了。 配置流程 APP.vue 使用element的provide，包含app <el-config-provider :locale"loca…...
区间预测 | Matlab实现带有置信区间的BP神经网络时间序列未来趋势预测
区间预测 | Matlab实现带有置信区间的BP神经网络时间序列未来趋势预测 目录 区间预测 | Matlab实现带有置信区间的BP神经网络时间序列未来趋势预测预测效果基本介绍研究回顾程序设计参考资料预测效果 基本介绍 BP神经网络（Backpropagation neural network）是一种常用的人工神…...
Matlab中的脚本和函数
Matlab中的脚本和函数 文章目录 Matlab中的脚本和函数脚本创建脚本代码注释函数创建函数局部函数嵌套函数私有函数匿名函数补充知识函数句柄测试环境：Win11 + Matlab R2021a 脚本 Matlab脚本是最简单的程序文件类型。它们可用于自动执行一系列 Matlab 命令，如命令行重复执…...
使用 nohup java - jar 不输出nohup日志
使用 nohup 命令来运行 Java 程序，并且不让输出写入 nohup.out 文件，可以使用重定向操作符 > 将标准输出重定向到 /dev/null 文件中。这样可以将输出丢弃，而不会写入日志文件。下面是具体的命令： nohup java -jar your_progra…...
Linux系统中安装一些常用的插件备用
Linux系统中安装一些常用的插件备用 1.安装wget yum -y install wget 2.安装vim yum -y install vim-enhanced 3.更换yum源为国内的阿里云源（选择） 1、备份CentOS-Base.repo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.…...
笔记本电脑上部署LLaMA-2中文模型
尝试在macbook上部署LLaMA-2的中文模型的详细过程。 （1）环境准备 MacBook Pro(M2 Max/32G); VMware Fusion Player 版本 13.5.1 (23298085); Ubuntu 22.04.2 LTS; 给linux虚拟机分配8*core CPU 16G RAM。 我这里用的是16bit的量化模型，…...
百度云加速方法「Cheat Engine」
加速网盘下载 相信经常玩游戏的小伙伴都知道「Cheat Engine」这款游戏内存修改器，它除了能对游戏进行内存扫描、调试、反汇编 之外，还能像变速齿轮那样进行本地加速。 这款专注游戏的修改器，被大神发现竟然还能加速百度网盘资源下载…...
SOC内部集成网络MAC外设+ PHY网络芯片方案：PHY芯片基础知识
一. 简介 本文简单了解一下 "SOC内部集成网络MAC外设 PHY网络芯片方案" 这个网络硬件方案中涉及的 PHY网络芯片的基础知识。 二. PHY芯片基础知识 PHY 是 IEEE 802.3 规定的一个标准模块。 1. IEEE规定了PHY芯片的前 16个寄存器功能是一样的 前面说了…...
openGauss 6.0.0-RC1 版本正式发布！
openGauss 6.0.0-RC1版本正式上线！ openGauss 6.0.0-RC1是社区最新发布的创新版本，版本生命周期为0.5年。（创新版本命名：由原方案 XX.1.0 Preview (例：5.1.0 preview），调整为现方案 XX.0.0-RCx&…...
【JVM】关于JVM垃圾回收
文章目录 🌴死亡对象的判断算法🌸引用计数算法🌸可达性分析算法 🌳垃圾回收算法🌸标记-清除算法🌸复制算法🌸标记-整理算法🌸分代算法🌸哪些对象会进入新生代？…...
。】2022-5-15)
【根据当天日期输出明天的日期(需对闰年做判定)。】2022-5-15
缘由根据当天日期输出明天的日期(需对闰年做判定)。日期类型结构体如下： struct data{ int year; int month; int day;};-编程语言-CSDN问答 struct mdata{ int year; int month; int day; }mdata; int 天数(int year, int month) {switch (month){case 1: case 3:…...
可靠性+灵活性：电力载波技术在楼宇自控中的核心价值
可靠性灵活性：电力载波技术在楼宇自控中的核心价值 在智能楼宇的自动化控制中，电力载波技术（PLC）凭借其独特的优势，正成为构建高效、稳定、灵活系统的核心解决方案。它利用现有电力线路传输数据，无需额外布…...
【HTTP三个基础问题】
面试官您好！HTTP是超文本传输协议，是互联网上客户端和服务器之间传输超文本数据（比如文字、图片、音频、视频等）的核心协议，当前互联网应用最广泛的版本是HTTP1.1，它基于经典的C/S模型，也就是客…...
Android Bitmap治理全解析：从加载优化到泄漏防控的全生命周期管理
引言 Bitmap（位图）是Android应用内存占用的“头号杀手”。一张1080P（1920x1080）的图片以ARGB_8888格式加载时，内存占用高达8MB（192010804字节）。据统计，超过60%的应用OOM崩溃与Bitm…...
AirSim/Cosys-AirSim 游戏开发（四）外部固定位置监控相机
这个博客介绍了如何通过 settings.json 文件添加一个无人机外的 固定位置监控相机，因为在使用过程中发现 Airsim 对外部监控相机的描述模糊，而 Cosys-Airsim 在官方文档中没有提供外部监控相机设置，最后在源码示例中找到了，所以感…...
08. C#入门系列【类的基本概念】：开启编程世界的奇妙冒险
C#入门系列【类的基本概念】：开启编程世界的奇妙冒险 嘿，各位编程小白探险家！欢迎来到 C# 的奇幻大陆！今天咱们要深入探索这片大陆上至关重要的 “建筑”—— 类！别害怕，跟着我，保准让你轻松搞…...
免费数学几何作图web平台
光锐软件免费数学工具，maths,数学制图，数学作图，几何作图，几何，AR开发,AR教育,增强现实,软件公司,XR,MR,VR,虚拟仿真,虚拟现实,混合现实,教育科技产品,职业模拟培训,高保真VR场景,结构互动课件,元宇宙http://xaglare.c…...
LRU 缓存机制详解与实现（Java版） + 力扣解决
📌 LRU 缓存机制详解与实现（Java版） 一、📖 问题背景 在日常开发中，我们经常会使用 缓存（Cache） 来提升性能。但由于内存有限，缓存不可能无限增长，于是需要策略决定&am…...
WEB3全栈开发——面试专业技能点P7前端与链上集成
一、Next.js技术栈 ✅ 概念介绍 Next.js 是一个基于 React 的 服务端渲染（SSR）与静态网站生成（SSG） 框架，由 Vercel 开发。它简化了构建生产级 React 应用的过程，并内置了很多特性： ✅ 文件系…...
ffmpeg（三）：处理原始数据命令
FFmpeg 可以直接处理原始音频和视频数据（Raw PCM、YUV 等），常见场景包括： 将原始 YUV 图像编码为 H.264 视频将 PCM 音频编码为 AAC 或 MP3对原始音视频数据进行封装（如封装为 MP4、TS） 处理原始 YUV 视频…...