当前位置： 首页 > news >正文

多文件并发多线程MD5工具（相对快速的MD5一批文件），适配自定义MD5 Hash I/O缓存。

news 2026/5/21 22:24:03

        自己写的多文件 MD5校验工具，一个文件开一个线程，有最大I/O 缓存设置，兼容读写MD5后缀文件。

共计91个文件，合计180G左右 12分钟左右，UI基本卡废，但程序没蹦，属于正常。

   卡的原因是基本是用 I/O 峰值了，我的是机器硬盘（峰值估计单文件在100M/S 上面，），然而我的单文件MD5 HASH缓存设置到了50M，也就是91*50M，完全超过硬件本身的硬件实力。

    我也没有锁瓶颈，在配置里面设置，各位量力而行，找到合适自己计算机硬件最大合理的尺寸，就自己调节适配吧。或者您有更好自动化适配硬件的算法可以分享一下。

<?xml version="1.0" encoding="utf-8" ?>
<configuration><appSettings><!--默认MD5缓存大小--><add key="MD5CacheSize" value="1"/><!--最大MD5缓存大小，注意过大可能会导致I/O占用过高--><add key="MaxMD5CacheSize" value="100"/></appSettings>  
</configuration>

相关文章：

多文件并发多线程MD5工具（相对快速的MD5一批文件），适配自定义MD5 Hash I/O缓存。

自己写的多文件 MD5校验工具&#xff0c;一个文件开一个线程&#xff0c;有最大I/O 缓存设置&#xff0c;兼容读写MD5后缀文件。 共计91个文件&#xff0c;合计180G左右 12分钟左右&#xff0c;UI基本卡废&#xff0c;但程序没蹦&#xff0c;属于正常。 卡的原因是基本是用 I/O…...

编程日记 2024/10/8 20:27:38

Pikachu-url重定向-不安全的url跳转

不安全的url跳转 不安全的url跳转问题可能发生在一切执行了url地址跳转的地方。如果后端采用了前端传进来的(可能是用户传参,或者之前预埋在前端页面的url地址)参数作为了跳转的目的地,而又没有做判断的话就可能发生"跳错对象"的问题。 url跳转比较直接的危害是: …...

编程日记 2024/10/8 20:25:36

如何下载和安装CLion，图文详解

一、下载 登录JetBrains官网&#xff0c;下载最新版本的Clion&#xff0c;Clion目前没有社区版&#xff0c;都是专业版。 二、安装 1、启动Clion安装程序&#xff0c;下一步。 2、修改安装目录&#xff0c;下一步。 3、创建桌面快捷方式&#xff0c;更新PATH变量&#xff0…...

编程日记 2024/10/8 20:23:33

vue3导入本地图片2种实现方法

在<script setup>中使用import语法&#xff1a; <template><img :src"logo" alt"Logo"> </template><script setup> import logo from ./assets/logo.png; </script> 使用Vue的ref来动态地在<script setup>中…...

编程日记 2024/10/8 20:22:31

leetcode 刷题day36动态规划Part05 背包问题（完全背包、518. 零钱兑换 II、377. 组合总和 Ⅳ、70. 爬楼梯 （进阶））

完全背包 完全背包的每件商品都有无限个&#xff0c;和01背包的一不同主要体现在遍历顺序上。为了保证每个物品仅被添加一次&#xff0c;01背包内嵌的循环是从大到小遍历。而完全背包的物品是可以添加多次的&#xff0c;所以要从小到大去遍历。 518. 零钱兑换 II 思路&#…...

编程日记 2024/10/8 20:20:29

检查jar冲突，查找存在相同class的jar

写在前面 本文看下如何查找jar冲突&#xff0c;即查找哪些jar包中存在相同的class。如果是存在相同jar的不同版本&#xff0c;基本一眼就能看出来&#xff0c;然后结合maven的依赖关系将其剔除掉即可&#xff0c;但是当你遇到了有人手动拷贝某些class到jar包中导致冲突的情况时…...

编程日记 2024/10/8 20:19:28

PhpStudy-PHP5.4.45后门漏洞应用程序（C++/base64/winhttp）

PhpStudy-PHP5.4.45后门漏洞应用程序&#xff08;C/base64/winhttp&#xff09; 前言引言&#xff08;时间回到多年前&#xff09; PhpShellCmd.exe使用介绍&#xff1a;&#xff08;1&#xff09;输入网址检测是否存在PHP/5.4.45&#xff08;2&#xff09;whoami&#xff08;3…...

编程日记 2024/10/8 20:17:26

【优选算法】（第二十七篇）

目录 重排链表&#xff08;medium&#xff09; 题目解析 讲解算法原理 编写代码 合并K个升序链表&#xff08;hard&#xff09; 题目解析 讲解算法原理 编写代码 重排链表&#xff08;medium&#xff09; 题目解析 1.题目链接&#xff1a;. - 力扣&#xff08;LeetCod…...

编程日记 2024/10/8 20:16:25

学习Flask框架

Flask简介 Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug &#xff0c;模板引擎则使用 Jinja2 。Flask使用 BSD 授权。 Flask也被称为 “microframework” &#xff0c;因为它使用简单的核心&#xff0c;用 extension 增加其他功能。Flask没…...

编程日记 2024/10/8 20:15:22

Elasticsearch：使用 LLM 实现传统搜索自动化

作者&#xff1a;来自 Elastic Han Xiang Choong 这篇简短的文章是关于将结构化数据上传到 Elastic 索引&#xff0c;然后将纯英语查询转换为查询 DSL 语句&#xff0c;以使用特定过滤器和范围搜索特定条件。完整代码位于此 Github repo 中。 首先&#xff0c;运行以下命令安装…...

编程日记 2024/10/8 20:14:21

人脸表情行为识别系统源码分享

人脸表情行为识别系统源码分享 [一条龙教学YOLOV8标注好的数据集一键训练_70全套改进创新点发刊_Web前端展示] 1.研究背景与意义 项目参考AAAI Association for the Advancement of Artificial Intelligence 项目来源AACV Association for the Advancement of Computer Vis…...

编程日记 2024/10/8 20:13:20

ThreadLocal原理解析及面试

基本使用 讲原理之前&#xff0c;我简单写个demo小程序说说怎么使用 public class TestThreadLocal {public static void main(String[] args) throws InterruptedException {ThreadLocal<String> tl new ThreadLocal();/**主线程设置了一个值*/tl.set("SSSSSs&…...

编程日记 2024/10/8 20:12:19

探索未来：mosquitto-python，AI领域的新宠

文章目录 探索未来&#xff1a;mosquitto-python&#xff0c;AI领域的新宠背景&#xff1a;为何选择mosquitto-python&#xff1f;库简介&#xff1a;mosquitto-python是什么&#xff1f;安装指南&#xff1a;如何安装mosquitto-python&#xff1f;函数用法&#xff1a;5个简单…...

编程日记 2024/10/8 20:10:16

C++版iwanna1

第一篇目录 开头程序Game.cpp源文件Player.h头文件Player.cpp源文件trigger.h头文件trigger.cpp源文件Cmp.h头文件Cmp.cpp源文件 开头 大家好&#xff0c;我叫这是我58。 程序 Game.cpp源文件 #define _CRT_SECURE_NO_WARNINGS 1 #include <iostream> #include <c…...

编程日记 2024/10/8 20:08:12

LSTM变种模型

一、GRU 1.概念 GRU&#xff08;门控循环单元&#xff0c;Gated Recurrent Unit&#xff09;是一种循环神经网络&#xff08;RNN&#xff09;的变体&#xff0c;旨在解决标准 RNN 在处理长期依赖关系时遇到的梯度消失问题。GRU 通过引入门控机制简化了 LSTM&#xff08;长短期…...

编程日记 2024/10/8 20:07:11

Python进阶--函数进阶

目录 1. 函数多返回值 2. 函数多种传参方式 (1). 位置参数 (2). 关键字参数 (3). 缺省参数 (4). 不定长参数 3. 匿名函数 (1). 函数作为参数传递 (2). lambda匿名函数 1. 函数多返回值 def return_num():return 1# 返回1之后就不会再向下继续执行函数体return 2 resu…...

编程日记 2024/10/8 20:06:10

elasticsearch 8.2 设置账号密码

背景：单节点集群数据写入测试-CSDN博客 前述项目支持设置账号密码，但8+版本似乎不能那么做了。 ERROR: [1] bootstrap checks failed. You must address the points described in the following [1] lines before starting Elasticsearch. bootstrap check failure [1] of…...

编程日记 2024/10/8 20:05:08

JavaScript代码如何测试？

测试JavaScript代码是确保其功能、性能和可靠性的关键步骤。以下是一些详细的步骤和方法&#xff0c;用于测试JavaScript代码&#xff1a; 1、编写测试用例 首先&#xff0c;你需要为要测试的JavaScript代码编写测试用例。这些用例应该涵盖代码的各种功能和场景&#xff0c;包…...

编程日记 2024/10/8 20:04:07

案例分享—国外ui设计优秀案例

国外企业更注重用户体验设计&#xff0c;倾向于简洁清晰的设计风格&#xff0c;以提高用户的使用体验和操作效率。他们注重“简约至上”的设计理念&#xff0c;认为简洁的设计可以减少用户的认知负担&#xff0c;提高用户的工作效率。 设计师在界面设计中往往更加注重创意性和个…...

编程日记 2024/10/8 20:02:04

在JavaScript中，改变this指向的call，apply，bind有什么区别，原理分别是什么？

在JavaScript中&#xff0c;call、apply和bind方法都是用来改变函数执行时this指向的。 以下通过一个Demo帮助理解&#xff0c;代码如下&#xff1a; var obj {name: lisi,sayHello: function() {console.log(this.name)} } obj.sayHello()// lisifunction sayHello() {conso…...

编程日记 2024/10/8 20:00:00

文档分析准确率从61%跃升至98.7%的关键转折点（附2024Q2最新Claude-3.5 Sonnet文档理解基准测试对比表）

更多请点击&#xff1a; https://kaifayun.com 第一章&#xff1a;文档分析准确率跃升至98.7%的里程碑意义 当文档智能系统在真实业务场景中将结构化识别准确率稳定提升至98.7%&#xff0c;这不仅是一个数字的突破&#xff0c;更是文档理解能力从“可用”迈向“可信”的关键分…...

编程新知 2026/5/21 22:16:15

深入解析Android进程与线程间通信机制：原理、实践与优化

引言 在Android开发中，进程与线程间通信（IPC）是构建高性能、高稳定性应用的核心技术。无论是多进程协作（如系统服务、插件化框架）还是多线程并发（如UI线程与后台任务），高效的通信机制直接决定了应用的流畅性与资源利用率。本文将围绕Binder机制、Handler机制、共享内存…...

编程新知 2026/5/21 22:16:12

《CVPR2025-DEIM创新改进项目实战：从原理到部署的深度学习优化全攻略》019、TimeSformer-DEIM与SlowFast-DEIM

CVPR2025-DEIM创新改进项目实战：TimeSformer-DEIM与SlowFast-DEIM 一、从一次诡异的显存爆炸说起 去年年底，我在调试一个视频行为识别模型时遇到了一个让人抓狂的问题。模型用的是TimeSformer，输入是32帧224x224的视频片段，batch size设了8，按理说A100 80G应该绰绰有余。…...

编程新知 2026/5/21 22:11:15

VLA已死，WAM当立：机器人的GPT时刻到了吗？

就在刚刚过去的4月底&#xff0c;红杉资本举办的AI Ascent 2026大会上&#xff0c;英伟达机器人方向负责人Jim Fan抛出了一个极具争议的论断&#xff1a;“视觉语言模型VLA已死&#xff0c;世界动作模型WAM当立。”他还预测&#xff0c;未来一到两年内&#xff0c;机器人学习的…...

编程新知 2026/5/21 22:03:25

Vibe Coding 实战：我用一条 Prompt 指挥 AI “盲盒式”生成 3D 积木物理世界

&#x1f680; Vibe Coding 实战&#xff1a;我用一条 Prompt 指挥 AI “盲盒式”生成 3D 积木物理世界&#xff09;一、 引言&#xff1a;欢迎来到 Vibe Coding 时代1.1 什么是 Vibe Coding&#xff1f;从“一行行敲代码”到“用直觉与语义编程”的范式转变1.2 为什么选择 3D …...

编程新知 2026/5/21 20:53:55

HS2-HF_Patch终极增强补丁：5分钟解锁Honey Select 2完整创作生态

HS2-HF_Patch终极增强补丁&#xff1a;5分钟解锁Honey Select 2完整创作生态 【免费下载链接】HS2-HF_Patch Automatically translate, uncensor and update HoneySelect2! 项目地址: https://gitcode.com/gh_mirrors/hs/HS2-HF_Patch 还在为Honey Select 2的语言障碍和…...

编程新知 2026/5/21 19:56:46

收藏 | LangChain vs LlamaIndex：大模型应用开发框架深度解析，小白也能轻松入门！

本文深入对比了LangChain和LlamaIndex两大框架的核心定位、功能模块及适用场景。LangChain是一个通用的LLM应用编排框架&#xff0c;通过LangGraph支持复杂Agent流程&#xff1b;LlamaIndex则专注于数据索引和检索&#xff0c;提供丰富的数据连接器和索引类型。文章还介绍了如何…...

编程新知 2026/5/21 19:40:25

别再重复造轮子！用PADS自带转换器+立创EDA，5分钟搞定原理图符号同步

高效复用立创EDA资源&#xff1a;PADS原理图符号同步实战指南 在硬件设计领域&#xff0c;重复绘制原理图符号堪称工程师的"时间黑洞"。当你在立创EDA上发现完美的元器件模型时&#xff0c;为何还要在PADS中从零开始&#xff1f;本文将揭示一套被多数人忽视的PADS原生…...

编程新知 2026/5/21 18:40:47

Photoshop图层批量导出终极指南：告别手动操作的时代

Photoshop图层批量导出终极指南&#xff1a;告别手动操作的时代 【免费下载链接】Photoshop-Export-Layers-to-Files-Fast This script allows you to export your layers as individual files at a speed much faster than the built-in script from Adobe. 项目地址: https…...

编程新知 2026/5/21 18:30:20

AD23新手必看：从画完PCB到嘉立创成功下单Gerber，保姆级避坑指南

AD23新手必看&#xff1a;从画完PCB到嘉立创成功下单Gerber&#xff0c;保姆级避坑指南 第一次用Altium Designer 23完成PCB设计后&#xff0c;面对Gerber文件导出和嘉立创下单的复杂流程&#xff0c;很多新手都会感到手足无措。本文将从实际经验出发&#xff0c;带你一步步避开…...

编程新知 2026/5/21 18:24:16